平安時代、崇徳天皇の御代に新義真言宗の開祖である覚鑁上人が信貴山に参篭した時、毘沙門天より真陀摩尼（ちんたーまに）という如意宝珠の珠を授けられ、この寺に蔵めたという伝説から玉蔵院とよばれるようになったという。
1911年（明治44年）5月18日、文秀女王が一泊した[1]。この時使用された部屋は「伏見宮文秀女王殿下玉座」として長く喧伝された。
通された部屋が「伏見宮文秀女王殿下玉座」としるした
貴賓室です。まはりは一面金地に
牡丹の絵襖。まるきり
春興鏡獅子の舞台といつた感です。
— 『向上』第35巻第3号（修養団、1941年3月）91頁。
1937年（昭和12年）2月26日には、南地の芸妓ら60人が待遇改善を求めて玉蔵院に籠城する事件が発生した[2]
