元は今川方国衆で犬居谷を本拠とする天野氏の支城であったとされる。天正期には、徳川家康が武田勝頼の侵攻に対し整備したと伝わり、大井川を境に北東の小長谷城（武田方）とにらみ合う形であった。[1]この山間部での攻防は、遠州灘沿いの高天神城を巡る攻防戦と同時期に行なわれ、どちらも多数の城塞群が構築されている。
天正5（1577）の攻防では徳川家康が駿府方面へ肉薄するための最前線として活躍し、配下の安部元真（大蔵）・信勝（弥一郎）父子が配備され、増援として三倉久右衛門が入城している。[2]
現在は樽山城址として駐車場も整備されており、曲輪や堀切などの遺構を確認できるほか、本丸跡に案内板が設置されている。