滄水郡太守の高済の庶子として生まれた。母の身分が低かったため、兄の高矯らの軽侮を受けていた。父が死去したときも、喪の席次を与えられなかった。ついに家を出て都の平城に入り、一族の高允のもとに身を寄せた。高允は高遵の父のために哀悼をささげ、高遵を喪主に立てたため、都の人々が弔いに集まり、高遵は朝廷の貴族たちと面識を得るようになった。高允の引き立てにより、楽浪王侍郎に任じられた。高遵は恩に感じて、父に対するように高允に仕えた。長広公侯窮奇らの下で従軍し、三斉の平定に功績を挙げて、高昌男の爵位を受け、安定王相に任じられた。
高遵は文学や史書を渉猟して、書法にすぐれ、中書侍郎に進んだ。長安を訪れ、燕宣王廟の碑の字句を削り、安昌子の爵位に進んだ。また太和殿と安昌殿の絵図を描いた。游明根・高閭・李沖らとともに律令制定の議論に参加した。後に立忠将軍・斉州刺史として出向した。斉州での暴政を訴えられ、孝文帝の譴責を受けたが、姿勢を改めなかったため、死刑に処せられた。
子の高元栄は、学問して文才があり、兼尚書右丞に上った。西道行台となったが、高平鎮で反乱に遇って殺害された。