神保氏の重要拠点として機能していたが、永禄年間（1558年～1570年）に上杉謙信に攻められ落城した。元亀年間（1570年～1573年）には水越氏が一向一揆と共に立て籠もったが、再び上杉勢に攻められて落城し、上杉氏により破却された。その後再び改修されて上杉側が使用し、寺島盛徳（牛介）兄弟などが立て籠もって佐々成政に抵抗した。
富山市立城山中学校は、この城山のふもとに位置するために「城山」中学校という。なお、付近の地名に「城山」は存在せず、地域名が学校名とはなっていない珍しい学校でもある。
国の史跡安田城にある安田城跡資料館では、当城の縄張り図が入手出来る[3]。
