ハリングはニューヨーク植民地のタッパン（当時はオレンジ郡に所属していた）に住む大きなオランダ人の家庭に生まれた。8人兄弟の4番目だった。父はエイブラハム大佐、母はマルティンチェ・ボガートであり、タッパンのオランダ改革派教会でジャンとして洗礼を受けた。生涯をこの教会の信徒として過ごした。ハリングはニューヨーク市の学校に入って法律を学び、法廷弁護士として認められた。ニューヨーク市とオレンジ郡で法律実務を行った。1773年に従姉妹のマリア・ハリングと結婚した。この夫妻には、マリア、サミュエル、エルバート、マルティンチェ、エリザベス、マーガレット、ジョンおよびニコラスの8人の子供が生まれた。
ハリングは地元では著名だった家族を継いだ。郡判事を務めた。アメリカ独立戦争が近付くと、オレンジ郡の通信委員会の委員となり、さらにはその長になった。1774年、郡はハリングと兄弟のピーターが起草したオレンジタウン決議を採択することにより、独自の形態の自治政府を設立した。この決議の中にはイギリス製品の輸入を禁止する非輸入協定があった。フィラデルフィアで開催された第一次大陸会議にハリングは郡の代表として参加し、大陸会議は1774年10月20日にこれと良く似た協定である同盟規約を採択した。
ハリングは1775年から1777年までニューヨーク邦議会に5度選出された。これらの会期のうちの2つでは臨時議長を務めた。1781年から1789年までは邦上院議員を務め、1785年から1787年には大陸会議の後継である連合会議の代議員を務めた。
1784年、ニューヨーク邦議会は古い植民地時代の様々な法や制度を新しい自由州に適したものに改訂することで多忙だった。イギリス国王から1755年に得た勅許でニューヨーク市のキングズ・カレッジが設立されていた。この1784年には新しい認証を得て、カレッジをコロンビア・カレッジ（現在のコロンビア大学）として編入した。この認証で理事会が設立され、ジョン・ハリングを含む24人の初代理事が任命された。ハリングは1787年に辞任するまでこの職を務めた。
1788年、ハリングはアメリカ合衆国憲法を批准するためのニューヨーク邦会議代議員になった。しかし、ハリングは邦と個人の権利を強く認識することが必要と考えたので批准に反対する投票を行った。このことを初めとして公的生活から身を引くようになった。
ハリングはタッパンの自宅に戻り、法律実務を続けた。ハリングは1809年4月1日にニューヨーク州ブロベルトで死に、タッパンのオランダ改革派教会に埋葬されている。妻のマリアは長生きし、1825年に死んだ。
