La plantation de Belle Grove, lieu de naissance de James Madison.
Port Conway est surtout connue comme le lieu de naissance de James Madison, l'un des principaux Pères fondateurs des États-Unis et le 4eprésident des États-Unis de 1809 à 1817, né le sur la plantation de Belle Grove, sur la rive nord du Rappahannock. Cette plantation appartenait à la famille de sa mère, Eleanor Rose Conway(en), fille du capitaine Francis Conway, fondateur du domaine. Ce dernier céda treize acres de terres pour établir le village de Port Conway, qui fut nommé en son honneur[2],[3].
Le , après l'assassinat du président Abraham Lincoln, l'acteur John Wilkes Booth et son complice David Herold traversent le Rappahannock à Port Conway pour échapper à la cavalerie de l'Union. Ils reçoivent l'aide de sympathisants sudistes avant de poursuivre leur fuite vers la ferme Garrett, située au sud de Port Royal, où Herold se rendit et Booth fut abattu par les soldats fédéraux[4],[5].