Il est né à Norwalk, dans le Connecticut et étudia à l'école locale. Il étudia plus tard la loi à l'office de Mr. Chapman à Newtown, et fut admis au barreau en 1809. Il épousa Mary Hoyt en 1810 et alla ensuite à Lancaster, dans l'Ohio, où il réussit en tant qu'avocat dans un cabinet privé. En 1823, il devint juge à la cour suprême de l'Ohio, où il continua à servir jusqu'à sa mort en 1829.
Le juge Sherman laissa derrière lui une veuve sans héritage et onze enfants à charge, l'aîné ayant seulement dix-huit ans et le plus jeune n'étant encore qu'un jeune enfant. Parmi ses enfants, il y eut le juge Charles Taylor Sherman et William Tecumseh Sherman, qui fut envoyé pour vivre chez son ami le juge Thomas Ewing et son épouse Maria, et qui fut général dans l'armée de terre américaine pendant la guerre civile américaine. Un autre de ses fils, John Sherman, deviendra un politicien du parti républicain, un sénateur et secrétaire du Cabinet. Son plus jeune fils, Hoyt Sherman, deviendra également notable en tant qu'officier militaire, politicien, et homme d'affaires.
