北魏の延興2年（472年）、中国浄土教の祖師曇鸞大師により創建された。北魏末、曇鸞大師は并州の大厳寺を出て、この玄中寺に移り浄業を修め、南朝梁の武帝や東魏の孝静帝の帰依を受けた。
隋の大業5年（609年）、道綽大師が玄中寺の寺内に建つ曇鸞大師の碑文を読んで浄土教に帰依し、当地に浄土教九品道場を営み。さらに善導大師が、この玄中寺に道綽禅師を訪ねて、その門に投じ、以後10年間教化を受けられた。このことから玄中寺は中国浄土教の祖庭であると言わている。
唐の貞観9年（635年）、太宗は寺院に参拝し、「石壁永寧寺」と名づけた。元和7年（812年）、憲宗により「龍山石壁永寧寺」の名を賜った。
北宋の元祐5年（1090年）に火災で焼失し、道珍により再建された。
金の大定26年（1186年）に焼失し、元釗により再興される。
モンゴル帝国（後の元）のオゴデイ10年（1238年）、「龍山護国永寧十方大玄中禅寺」と改称。恵信が伽藍を整備した。
清の同治と光緒年間、長年修理を怠ったので寺が破損した。
1920年、常盤大定と関野貞がここを調査したときは、大雄宝殿（本堂）は焼失し寺内は荒廃したという。
1954年より、地元政府は寺院を修復する。1983年、中華人民共和国国務院は仏寺を漢族地区仏教全国重点寺院に認定した。2013年、中華人民共和国国務院は仏寺を全国重点文物保護単位に認定した。
