En 1775, il quitte la France et s'installe dans la colonie française de Saint-Domingue. Il est accompagné de la comédienne Jeanne-Marie Marsan et de ses enfants, qui rejoint son mari installé sur place depuis une dizaine d'années. Il épouse la comédienne Mme Le Prévost, née Marie-Anne Nonancourt Du Bouchet[1] (1741-1819), une actrice qui commença sa carrière de comédienne à Bruxelles en 1757 et joua à Paris, Vienne et Copenhague. Ils se sont séparés en 1776, mais en 1803, elle vient le rejoindre à La Nouvelle-Orléans pour revivre à ses côtés.
Fontaine est aussitôt embauché comme comédien au théâtre de la ville de Cap-Français. En 1780, il succède à Monsieur Desforges comme directeur du théâtre. Le théâtre connait alors un grand succès auprès des colons français de l'île de Saint-Domingue.
En 1793, la guerre civile entre les esclaves haïtiens révoltés et l'armée française, entraîne le départ de plusieurs milliers de colons vers la Louisiane française.
Installé à La Nouvelle-Orléans, il devient, en 1795, le directeur du Théâtre de la Rue Saint-Pierre dans le centre-ville du Vieux carré.
Après 1803, il continue à diriger ce théâtre après la vente de la Louisiane aux États-Unis.
De 1797 à 1811, il est le rédacteur en chef du journal Le Moniteur de la Louisiane.
