Après avoir obtenu un titre de docteur à Édimbourg en 1819, il rejoint l'armée britannique dans laquelle il sert de 1815 à 1858. Il est d'abord en poste au Canada et à Malte, puis arrive au Cap en 1827. Il revient à Londres lorsque son régiment est rappelé en 1837. Durant cette période, il passe beaucoup de temps à la frontière. Il y étudie la faune et la flore ainsi que les tribus qui y vivent.
Il fonde, en 1825, le Muséum d'Afrique du Sud dont il est le premier directeur. Il conduit, de 1834 à 1836, une expédition destinée à explorer le Transvaal et constituer des collections.
À son retour au Royaume-Uni, il grimpe rapidement les échelons de l'administration militaire et obtient la direction du département de la médecine militaire en 1851. Il est la cible des attaques de Florence Nightingale (1820-1910) qui dénonce l'incurie des services de santé de l'armée britannique, mais Smith est soutenu par la reine Victoria qui l'anoblit en 1858.
Il est surtout connu pour sa série intitulée Illustrations of the Zoology of South Africa, qui paraît de 1838 à 1849 en 28 volumes. Il rapporte au Royaume-Uni ses manuscrits et ses collections (aujourd'hui conservées à Londres et à Édimbourg).
Smith rencontre Charles Darwin (1809-1882) lors du passage de ce dernier au Cap en 1836 lors du retour au Royaume-Uni de l’H.M.S. Beagle. Darwin cite fréquemment Smith dans ses travaux et ses correspondances. Darwin soutiendra d'ailleurs l'entrée de Smith à la Royal Society en 1857.
