文禄3年（1594年）に播州三木（現在の兵庫県三木市）から転封された岡藩初代藩主中川秀成が、その翌年の文禄4年（1595年）に三木西光寺の恵明上人（めみょうしょうにん）を迎えて、中川家の菩提寺として代官町に建立した寺院である（ただし、秀成の死後に、碧雲寺が菩提寺とされた。）。現在地には、延宝7年（1679年）に移転した。
安政5年（1858年）に再建された現在の本堂には、銃眼状の小窓が残っている。小窓は二層入母屋造の本堂の正面に6つ、背面に2つ、側面に8つずつあり、藩主の菩提寺であったこの寺院が軍事的な役割を果たしていたことを窺わせる。寺院の堂宇が銃眼を備えている例は、全国的に見ても珍しい。
鐘楼は、棟札から元禄4年（1691年）建立とされる大分県内で最古の鐘楼である。鐘楼に吊るされた梵鐘には、慶長14年（1609年）5月27日鋳造の銘がある。
西光寺は、平成12年（2000年）3月24日に西光寺境内として大分県の史跡に指定されている。また、本堂、山門、鐘楼は、竹田市の有形文化財にも指定されている。
