土肥実平は、源頼朝の元で平家討伐に功績を挙げ、吉備三国（備前・備中・備後）の惣追捕使（守護）に任ぜられた。
実平の子遠平は、土肥郷の地名である小早川氏を称したが、承久の乱で戦功を挙げて安芸国沼田荘を与えられた。
高山城は小早川氏の居城として建永元年（1206年）、遠平の孫・小早川茂平により築かれた。その後、小早川氏は沼田小早川氏と竹原小早川氏に分かれたが、高山城は沼田小早川氏（本家）の居城であった。
天文10年（1541年）、竹原小早川家の当主小早川興景が継嗣なく早世したため、毛利元就の三男徳寿丸（小早川隆景）を養子に迎えた。隆景は天文13年（1544年）同家の当主となる。一方、沼田小早川家の当主小早川繁平は若年のうえ病弱であったので（失明していたとされる）、隠居に追い込まれ、天文19年（1550年）隆景が沼田小早川家をも継ぐこととなり、両家は統合された。
隆景は天文21年（1552年）、対岸の新高山城に居城を移したため廃城となった。
