Dès son arrivée à la Barbade en 1647, à l'âge de 27 ans avec sa famille, il fut témoin de la spéculation immobilière qui battait son plein, selon l'historien Paul Butel. Dans La Caraïbe au temps des flibustiers il raconte que Modyford a dû payer 7000 sterling (dont 6000 à tempérament) pour racheter la moitié de la plantation sucrière que le colonel Hilliard avait payée seulement 400 livres en 1642.
Repaire de flibustiers anglais depuis sa prise en 1655, la Jamaïque reste leur domaine pendant encore une dizaine d'années sous la direction de Modyford, à qui Londres reproche ensuite sa faiblesse. Ses initiatives avaient déplu: en 1666, appuyés par les principaux marchands et planteurs de l'île, il avait plaidé qu'il ne pouvait, sans l'appui de la Royal Navy, se mettre à dos les flibustiers, qui se réfugieraient autrement chez les Français à l'île de la Tortue, où ils étaient assurés de recevoir bon accueil de la part du gouverneur Bertrand d'Ogeron.
Jusqu'en 1669, il fut le très respecté directeur de compagnie des aventuriers d'Afrique, créé en 1660 pour l'importation des esclaves. Mais en 1670, il est emprisonné pour deux ans à la Tour de Londres pour des accusations de corruption, d'avoir toléré la flibuste et le raid sur Panama organisé par le chef pirate Henry Morgan, avant d'être blanchi, libéré, et de repartir à la Jamaïque où il retrouve ses plantations et son frère, le colonel James Modyford. En 1671, un "dur", Sir Thomas Lynch, vétéran des guerres contre les puritains lui succède à la tête de l'île.
