館の構造は単郭方形館で櫓台と見られる出張部が存在した。周囲には土塁、堀などを配しているが、その構造は単純なもので鎌倉時代〜南北朝時代に見られる初期的な形態になっている。(もっとも、伯耆国における平地の城館の大半は戦国期になってもこのような形態を示している)土塁の高さは4m程で虎口も簡単な「平入り虎口」と呼ばれるものである。防御性はさほど高くはないため、日常の住まいとして使用されたと推定される。また、堀を挟んで居館部の前には馬場跡とされる平坦地が存在する。江府町教育委員会の発掘により、柱穴や排水施設などが確認されている。一部は畑地として利用されてはいるが全体の保存状態は完存に近く、良好な状態である。