永禄9年（1566年）に日向の伊東義祐が、薩摩の島津氏への抑えの城として、またその島津の飯野城攻撃の前線基地として、須木城主・米良重方に命じて作らせ、城主にも任命した。
西方、北方、東方を岩瀬川（現・石氷川）が囲むように流れ天然の堀となり、南方はシラス土壌による断崖絶壁で容易に登れないという、天然の要害を利用した難攻不落の城。
当初は三ツ山城（みつやまじょう）、もしくは三ノ山城（みのやまじょう）と呼ばれていたが、島津氏の城に帰すると
島津義弘により、人心一新のためと、北原氏が所有していたもう一つの三ツ山城（小林市・細野）との混同を避ける意味で、小林村にあったことから小林城と名を改められた。
現在は私有地であり、指標、本丸跡などの標柱等はあるが、ほとんど雑木林になっている。
