Le temple est fondé à l'origine par Rennyo, abbé de la secte Jōdo shinshū dont les prédications entraînent la création du mouvement des Ikkō-ikki. À la suite de la destruction en 1465 du principal temple Jōdo Shinshū, le Hongan-ji de Kyoto, Rennyo passe environ une dizaine d'années dans les provinces.
Il revient à Kyoto en 1478. La construction du Yamashina Mido est achevée en 1483, et il devient ainsi le centre de la secte Jōdo Shinshū. Rennyo y demeure pendant plus d'une décennie, pour le quitter en 1496 et voyager vers la région maintenant appelée Osaka où il découvre l'Hongan-ji d'Ishiyama.
Au cours des décennies suivantes, le Yamashina Mido reste le siège central de la secte, alors même que l'Ishiyama Hongan-ji et la ville d'Osaka augmentent en taille et en importance. Dans les années 1530, les Ikkō-ikki entreprennent des attaques sur les grands centres religieux urbains tandis que les autres bandes de Ikkō font de même contre les dirigeants samouraïs dans les provinces. La foule attaque le Kenpon-ji de Nichiren à Sakai, le Kōfuku-ji et les sanctuaires Kasuga à Nara, entre autres sites et encourent la colère à la fois du clergé et des laïcs fidèles à Nichiren et d'autres sectes.
Kyoto, quant à elle, est en reconstruction depuis plusieurs dizaines d'années après la destruction de la ville au cours de la guerre d'Ōnin de 1467-1477. La classe montante marchande urbaine est composée principalement d'adhérents à la secte du bouddhisme Nichiren et les tensions conduisent bientôt à des attaques contre les Ikkō-ikki dans la ville. En 1532, Hosokawa Harumoto et Rokkaku Sadayori emmènent une association de samouraïs et citadins qui attaquent et détruisent le Yamashina Mido.
Shonyo, abbé de Yamashina, fuit avec beaucoup de ses disciples, se réfugiant dans l'Ishiyama Hongan-ji. Il y résiste avec succès à une autre attaque de Hosokawa et l'Ishiyama Hongan-ji reste le siège de la secte pendant près de cinquante ans.
