高杉家家伝によれば、安芸国高田郡西浦村（現・広島県安芸高田市吉田町西浦）に住んだ武田元繁を先祖とし、その元繁の一族と伝えられる武田小四郎春時が毛利元就に仕え、天文22年（1553年）に高杉城の城主となり、姓を「武田」から「高杉」に改めて春時が初代となる。武田氏との関連の真偽は不明だが、高杉家の家紋は現代に至るまで「丸に武田菱」である。
高杉城のルーツは諸説あり、備後国三谿郡高杉村（現・広島県三次市高杉町）に所在した高杉城を指摘する説と、 安芸国高田郡西浦村（現・広島県安芸高田市吉田町西浦）に所在した高杉山城を指摘する説がある。こちらの城跡には高杉晋作が高杉氏の13代目の子孫であることを示す碑が晋作の子孫により昭和10年（1935年）に建立された。
どちらの高杉城も晋作の先祖と関わりがあると思われるが、詳細は不明である。
小四郎春時 ─ 春光 ─ 春貞 ─ 就春 ─ 春俊 ─ 春信 ─ 春善 ─ 春明 ─ 小左衛門春豊 ─ 小忠太春樹 ─ 晋作春風 ─ 東一 ─ 春太郎 ─ 勝 ─ 力─ 夏美
高杉小左衛門春信の養子に坂時存の次男が入り、高杉又左衛門春善→高杉小左衛門春明→高杉又兵衛春豊（長沼家からの養子・妻は春明の娘）→高杉小忠太→晋作となる。
