源平合戦(治承・寿永の乱)の頃に比叡山延暦寺の僧・明雲の下向に伴い、宝光院の住職である吉富氏により、宝光院後山に築かれたとされる小林最古の城。小林がまだ「夷守」と呼ばれていた頃の中心となった城である。
北方と西方の辻之堂川が天然の堀をなし、且つその二方向は断崖である。東方には空堀があったという。丘陵地の中央の最も高い場所が本丸跡と思われ、本丸と東丸ならびに南出丸という郭との間にも空堀があった。
北東に2kmほどの場所に小林城があり、そこもかつて三ツ山城と呼ばれていたため混同されがちであるが、全く別の城である。
現在は住宅地であり、小さな児童公園内に指標が一本あるだけであるが、南西の麓にある真宗佛光寺派の専寿寺境内に「景行天皇御腰掛石」が存在し、その案内板に三ツ山城の説明文が併記されている。