天文年間頃、この地域に侵攻してきた村上氏の命により、室賀氏が築城したと推測される。
武田氏が信濃に侵攻して村上氏を信濃から追い出すと、室賀氏は武田氏に臣従した。『高白斎記』の天文22年(1553年)に「八月晦日甲辰飯富室カノ本城ヘ移ル」という記述があり[2]、武田氏の重臣飯富虎昌が室賀城へ入ったことがわかる。武田氏の重臣が入るということは、上杉謙信の信濃への軍事介入に備えて室賀地域が重要視された可能性が指摘されている。
天正12年(1584年)に室賀正武を滅ぼした真田氏が室賀地域を領有し、城を現在の姿に改修したと考えられている。