かつてこの寺地は高野山第2世座主真然の廟所で、長承元年（1132年）に覚鑁によって建立された大伝法院の跡地であった。天正20年（1592年）、青巌寺は豊臣秀吉が大願主となり、母大政所の追善のために木食応其に命じて造営された。初め「剃髪寺」と号した。同年8月4日の豊臣秀吉朱印状によれば、造営料として一万石、ほかに高野山に一万石、うち三千石を剃髪寺仏供灯明ならびに寺僧請賄料として寄進している。文禄2年（1593年）7月22日に剃髪寺の落慶供養、曼陀羅供が修されたが、導師は検校法印親王院空鑁がつとめた。翌3年3月秀吉は高野山に登り、同月3日大政所の3回忌法要を営み、その遺髪を牌前に納めて拈香供養をした。徳川家康もこれに供奉している。大坂城帰城後に秀吉が木食応其に出した手紙（続宝簡集）に「青巌寺」とあり、この頃寺号を改めたらしい。
同4年7月10日、関白豊臣秀次は秀吉の不興をかって高野山に追放され、翌日、木食応其に従って当寺で剃髪したが許されず、同月15日応其の勧めにより青巌寺の柳の間で切腹し、雀部重政以下侍臣もみな殉死した。
関ヶ原の戦い後、慶長6年（1601年）徳川家康より一山の寺領の配分が定められ、青巌寺は当山検校職永代の精舎とされ、学侶方の支配寺院に決した。寺領三千石の内訳は賄方一千石、修理料一千石、碩学八人に一千石となっていた。なお元和3年（1617年）には家康像が主殿に安置され、本尊となった。寛永7年（1630年）10月、壇上伽藍の大塔に落電し、当寺も炎上した。続いて、慶安3年（1650年）3月に五之室谷より出火して累災し、延宝5年（1677年）11月に再建がなった。宝暦8年（1758年）紀伊中納言徳川宗将の逆修法号を院号とし、菩提心院と名付けられた。
「続風土記」によれば、主殿・玄関・厨・総山奉行詰所・寝所・真然堂・勅使門・護摩堂・経蔵・上門・鐘楼・供待・下門長屋・鍵取部屋があった。
なお、青巌寺の名跡は一度廃されたが、その後復活、現千手院谷の北隅西側に準別格本山として存在する。