Le site était à l'origine un fort en terre probablement construit par le corsaire néerlandais Joost van Dyk en 1620, à la fin de la trêve qui existait entre les Néerlandais et les Espagnols à Porto Rico.
Quelque part entre 1623 et 1630, le fort pourrait avoir servi de caserne à des soldats blessés ou malades, d'où vient probablement son nom[1].
Le fort a été abandonné lorsque le territoire est tombé en déclin après que les Britanniques eurent pris le contrôle des Îles Vierges en 1672. Cependant, durant la période coloniale tumultueuse commençant avec la guerre d'indépendance américaine et s'étendant jusqu'aux guerres napoléoniennes, le fort fut reconstruit sous sa forme actuelle. Lorsque les Britanniques l'on reconstruit, la tour Martello a été ajoutée pour tenter de compenser le manque d'élévation du canon.
Le fort est à nouveau tombé en ruine au début du XIXe siècle lorsque le théâtre principal du conflit a été transféré des colonies à l'Europe continentale et que les économies des îles étaient insuffisantes pour son entretien. Il se peut aussi que, si le fort fut conçu pour protéger une source d'eau douce, lorsqu'elle s'est asséchée (il n'y a pas de bassin d'eau douce aujourd'hui), la nécessité du fort disparu.