宝亀8年（775年）に弘誓坊明源によって開基された。弘誓坊明源は大山寺の僧で、地蔵菩薩の霊夢を見て岩船山に訪れ、生身地蔵と謁見することが出来たため開基した伝えられている。岩船山は死者の魂や霊魂が集まる場所だと伝えられている。
江戸時代になると歴代将軍によって庇護され、3代将軍徳川家光の側室宝樹院は高勝寺に帰依していたという。4代将軍徳川家綱は「岩舟地蔵の申し子」と言われていた。
8代将軍徳川吉宗によって享保年間に諸堂の大改修が行われており、寛延4年（1751年）には三重塔が建立された。また、岩船地蔵の普及に努め「関東の高野山」「日本三大地蔵尊」「日本三大子授け地蔵尊」と称され「日本三大霊山」「日本三大地蔵」などに名を連ねるまでになった。岩船節と呼ばれる念仏が関東一円に流行し、昭和16年頃まで続いたという。
1960年代頃までは春秋の彼岸になると関東一円の人が高勝寺へ向かい両毛線岩舟駅の利用者が激増し、岩船山高勝寺の参道まで屋台が埋め尽くすように並び、多くの人で賑わっていた。
