当時、飯森氏の所領であった小谷地方には、小谷五人衆とよばれる一党が存在したが、このうち山田左近・田原主馬・細野織部・太田土佐守は武田方に帰属する。飯森氏に属した衆は山岸豊後守のみであったという[2]。
2月、葛山城攻めの先鋒となっていた諏訪衆の軍勢は、城の攻略後に平倉山城攻めに向かった。
7月5日、飯森盛春率いる防衛軍と諏訪衆・木曽衆の軍勢が攻防戦を繰り広げた。このとき、籠城側には安曇郡の穂高神社造営奉行・穂高氏の一族・穂高大進も参戦している[3]。
武田軍の千野靫負尉は城構えに接近し、弓で飯森軍を相手に奮戦した他、岩波六郎左衛門が敵兵の首を取るなど、諏訪衆の活躍が大きかったようである[4]。
盛春は、越後長尾氏からの後詰めを期待して戦い続けたが、その甲斐空しく曲淵庄左衛門という者に討ち取られたという[5]。間もなくして城も落城し、安曇郡北辺は平定された。
伝承では、城方は姫を駒に乗せて逃した、また白米で馬を洗い城内に水源があるように装ったなどがある。また、戦後には小谷五人衆のうち四人の家では城跡に登るとたたりがあるので登らないといったものがある[3]。
越後方に関する伝承においては、平倉山城の援軍である上杉軍が深原集落に到達し援軍到着を伝えるためほら貝を吹いたことから「貝の平」の地名ができ、城から火の手があがったことから時すでに遅しだったと地団駄を踏んだことから「じたんだ」という地名が発祥したという[3]。