正和2年(1313年)、吉川経高が駿河国吉川邑から安芸国大朝庄に移住し当初は駿河丸城を居城にしていたが、南北朝末期に吉川経見が近隣に小倉山城を築いた。以後「鬼吉川」と呼ばれた安芸吉川氏の拠点として栄えた。毛利元就の正室である妙玖(吉川国経の娘)も、ここ小倉山城で誕生している。
吉川元春が天文19年(1550年)に日野山城を築き、居城を移すと小倉山城はその役割を終えた。
建築物はないものの現在も多くの遺構が残っており、昭和61年(1986年)8月28日に吉川氏にかかわる六遺跡が「吉川氏城館跡」として史跡指定され、平成9年(1997年)には三遺跡が追加指定された[1]。