スコットランドのスターリングに近い、St Niniansという村(現在はスターリングの一部)で生まれたが、ハーヴィーが生まれてまもなく家族とスターリングに移った。父親は時計職人であった。スターリングの書店に徒弟として入るが、美術が好きで、画家になる決意をして、18歳になると、エディンバラの美術学校「Trustees Drawing Academy of Edinburgh」に入学した。才能はすぐにスコットランドの画家たちに認められ、1826年にScottish Academyの名前で後の王立スコットランド・アカデミーが設立された時、準会員に選ばれた[1]。
1826年にエディンバラの展覧会に初めて出展し、翌年から開かれるようになったアカデミーの展覧会に毎年出展した。
1829年に王立スコットランド・アカデミーのフェローの称号を得た。1864年にジョン・ワトソン・ゴードン(John Watson Gordon: 1788–1864)の後任として王立スコットランド・アカデミーの会長となり、1876年までその職を務めた。1867年にはナイトの称号を受けた[1]。
1839年に最初の結婚をし2人の娘が生まれた[2]。1844年に最初の妻が亡くなった後、1847年に再婚したが2度目の妻は1854年に亡くなった[2]。
1876年にエディンバラで亡くなった。