李綜（李霊の子）の子として生まれた。はじめ奉朝請・尚書度支郎に任じられた。洛陽に遷都されると、営構将となった。孝文帝の南征に従い、行台郎となった。孝文帝が洛陽に帰ると、李遵は太子歩兵校尉に任じられた。宣武帝の初年、歩兵校尉に転じ、散騎侍郎を兼ね、盧昶を補佐して東北道副使をつとめた。後に司空諮議に任じられ、中塁将軍の号を加えられた。京兆王元愉が冀州刺史となると、李遵は元愉の下で征東府司馬に任じられた。508年（永平元年）、元愉が反乱を起こすと、李遵は元愉の召集に従わず、殺害された。享年は44。征虜将軍・幽州刺史の位を追贈された。諡は簡といった。