北斉の蘭陵王高長恭の孫とされる。父の名は不明（高長恭の子で高元簡の父とするならば、姓が「高」であることは確実だが、諱と字は明らかになっていない）、母は趙氏という。北斉の開祖で高長恭の祖父にあたる高歓は男子は15人、女子は9人という合計24人の子女がいたが、残っている記録を見る限り、多くは早世や北斉内部での権力争いによる犠牲、そして北周の第3代皇帝武帝による粛清・迫害の影響もあり、子や孫、もしくは曾孫の代で系譜が途絶えており、高元簡は高歓直系の数少ないの玄孫の一人である（また、高長恭の叔父で北斉の第4代皇帝武成帝の四男の高廓の子孫が、高君緒（高廓の子）、高玄景（高君緒の子）、高元思（高玄景の子）と4代存続していることが確認できる。高長恭と高廓が従兄弟、高元簡の父と高君緒が又従兄弟。高玄景が高元簡と又従兄弟の子供同士でこの世代が高歓の玄孫となる。また、高玄景の子の高元思は記録を見る限り、高歓直系の唯一の来孫である。