Avant l'arrivée des Européens, la région était habitée par les aborigènes Knarn Kolak.
Au début du XIXe siècle, elle a été occupée par les chasseurs de baleines et de phoques. En 1835 un centre de chasse à la baleine a été créé sur l'actuelle île de Griffiths. Les maisons en basalte bleu construites par les chasseurs de l'époque sont encore debout autour de la ville. Un magasin général a été ouvert en 1839. En 1843, James Atkinson, un avocat de Sydney acheta des terres dans la ville actuelle. Il fit drainer les marais, partagea et loua les terres et fit construire un port sur la rivière Moyne. Il appela l'endroit « Belfast » en l'honneur de sa ville natale en Irlande du Nord. En 1887, la ville est devenue Port Fairy, à la suite d'une loi votée par le Parlement. La ville a été desservie par le chemin de fer entre 1890 et 1977.
.svg){kind=icon}
.svg){kind=small}
