この島における最初の人類の痕跡は約1000年前のスーリー族に遡る。彼らは現在のイヌヴィアルイト（西部カナダイヌイット）の祖先とされる[1]。
この島を最初に発見したヨーロッパ人はジョン・フランクリンで1826年のことである[2]。フランクリンの探検時にはこの島に3つのイヌヴィアルイト集落があり、当時の人口は200人から2,000人と想定に幅がある。島は狩猟、漁業、捕鯨の基地として利用されていた。
この近辺のボーフォート海での捕鯨が最盛期であった1893年から1894年の間、島には1500人程度の住人がおり当時ユーコン準州での最大のコミュニティーであった。陸地に建物も建てられたが、ほとんどの漁師は捕鯨船内で生活していた。1893年にパシフィック・スティーム捕鯨会社（Pacific Steam Whaling Company、PSW社）が「コミュニティーハウス」と言う名の建物をポリーン・コーブ（Pauline Cove）建て、島最大の建築物となった。1896年にはPSW社がイングランド国教会聖公会系の教会に建物の一部を提供、1906年まで続いた。
この島にあったイヌイットの集落は1987年に廃止され、住民は隣接しているノースウエスト準州の土地に移住している。そのためイヌヴィアルイト最終合意の結果、ハーシェル島は現在ハーシェル島キキタルック準州立公園となった。
