Il est le fils de Lucas Sullivant, un homme d’affaires et propriétaire terrien, et de Sarah née Starling. Il fréquente l’école privée de Samuel Wilson dans le comté de Jessamine dans le Kentucky puis passe un an à l’université de l’Ohio à Athens. Il obtient son Bachelor of Arts en 1823 au Yale College. Sullivant se marie trois fois : avec Jane Marshall en 1824 (celle-ci meurt en 1825), avec Eliza Griscom Wheeler en 1834 (celle-ci meurt en 1850) et enfin, en 1851, avec Caroline Eudora Sutton (celle-ci meurt en 1891). Treize enfants naîtront de ces différentes unions.
À la mort de son père, il hérite des affaires et des riches propriétés de son père. Il étend ses activités dans le domaine des moulins, de carrières, d’activités bancaires, de réseaux de transport, de canaux et bien d’autres activités en relation avec de la recherche en génie civil. Il commence à s’intéresser à la botanique en 1834, sans doute sous l’influence de sa deuxième épouse et de son frère, Joseph.
Il fait paraître en 1840 A Catalogue of Plants... in the Vicinity of Columbus, Ohio. Il voyage beaucoup dans cet État et réalise un très riche herbier. Il se spécialise dans les herbacées et les carex. Il entretient une correspondance suivie avec Asa Gray (1810-1888) et John Torrey (1796-1873). Il commence alors à s’intéresser aux mousses et aux hépatiques. Il réalise alors Musci Alleghanienses (1845-1846) et la partie sur les mousses dans la première et la deuxième édition du Manuel of Botany of the Northern United States (1848 et 1856). Pour ce Manuel, les illustrations sont de la main de sa deuxième femme, Eliza Griscom Wheeler.
Sa plus grande réalisation sont ses Icones Muscorum (1864), riche de 129 gravures sur cuivre et son ouvrage posthume Supplemental (1874). Il entreprend la rédaction d’un Manual of Mosses of North America mais il meurt avant de le terminer. À la demande d’A. Gray, c’est Charles Léo Lesquereux (1806-1889) et Thomas Potts James (1803-1882) qui le poursuivent. Le Kenyon College lui décerne un doctorat honorifique en droit en 1863. Il est élu à la National Academy of Sciences en 1872.
En 1898, la Sullivant Moss Chapter est fondée au sein de l’Agassiz Association. Ce club est rebaptisé en Sullivant Moss Society en 1908 avant de devenir plus tard l’American Bryological and Lichenological Society.
Sullivant décrit et nomme 270 espèces de bryophytes. Son herbier, riche de 18 000 espèces, est actuellement conservé à l’université Harvard.
Plusieurs genres ou espèces lui ont été dédiés. Parmi ceux-ci, citons le genre Sullivantia de la famille des Saxifragaceae créé par John Torrey (1796-1873) et Samuel Frederick Gray (1766-1828) en 1842.
