麻呂子親王に関する伝承では、親王が鬼退治に際して七仏薬師を刻んで戦勝を祈願し、鬼の首領土態らが命乞いをした際、一夜で寺地を造るよう求めたところ、鬼たちが寺地を切り開いたと伝える[2]。その後、七仏薬師の一つを安置し、親王の鎌と鞍を納めて清園寺が創建されたとされる[2]。
清園寺はかつて筠慧庵と称し、寛治2年(1088年)に維範大徳が七堂伽藍を整備し、子徳院清園寺と改称した[2]。
本堂は寛延2年(1749年)、庫裏は享和元年(1801年)の建立である[2]。
1918年(大正7年)の河守大火では、仁王門とそこに安置されていた多聞天・広目天像が焼失した[2]。