La maison a été construite à l'origine par Pierre Billiou, un huguenot arrivé à La Nouvelle-Amsterdam fuyant les persécutions religieuses en Europe en 1661. Il fonda Oude Dorp (vieille ville) à Staten Island la même année et reçut par la suite une concession de terre à Staten Island, érigeant la partie originale en pierre de la maison vers 1662[2]. Sa fille Martha (1652-1736) hérita de la propriété et y résida avec son mari, Thomas Stillwell (1651-1704/1705), puis avec son deuxième mari, le révérend David de Bonrepos (1654-1734), qu'elle épousa en 1711.
Vers 1680, Thomas Stillwell, un propriétaire foncier aisé, agrandit la maison. Ses descendants et ceux de Martha, les Brittons, en furent propriétaires jusqu'au milieu du XVIIIe siècle. Elle fut ensuite acquise en 1758 par Edward Perine, dont la famille la conserva jusqu'en 1913[2].
Le bâtiment est en bois et pierre avec un toit en pente, une haute cheminée avec un grand foyer en pierre et un plafond avec des poutres exceptionnellement grandes. Propriété de Historic Richmond Town, la maison est occasionnellement ouverte au public ou sur rendez-vous[3].