勇壮果断にして闊達な性格で、弓射や乗馬を得意とした。西晋末の大乱にあたって、劉遐は塢主となり、反乱討伐の先頭に立って、張飛・関羽の武勇と比較されることを望んだ。同郷の冀州刺史の邵続は、劉遐の器量を見込んで娘をとつがせた。劉遐は黄河と済水の間に勢力を築いて、反乱軍を寄せ付けないまでになった。劉遐は間道を通って琅邪王司馬睿のもとに遣使し、その節度を受けた。龍驤将軍・平原国内史に任じられた。建武元年（317年）、下邳国内史となった。
大興元年（318年）、彭城国内史の周撫が沛国内史の周黙を殺害して反乱を起こし、石勒の援軍を呼び込むと、劉遐は彭城国内史を兼ね、徐州刺史の蔡豹や泰山郡太守の徐龕とともに周撫を攻撃し、寒山で戦って周撫を撃破した。劉遐は臨淮郡太守に転じた。
大興3年（320年）、徐龕の二度目の反乱が平定されると、劉遐は北中郎将・兗州刺史となった。
太寧元年（323年）、彭城から泗口に移駐した。太寧2年（324年）、王含が反乱を起こすと、劉遐は蘇峻とともに朝廷の援軍として建康に赴いた。王含が敗れると、劉遐は丹陽尹の温嶠に従って王含を淮南まで追撃した。劉遐は自兵の略奪を許したため、温嶠に叱責された。王敦の乱が平定されると、劉遐は功績により泉陵公に封じられ、仮節・散騎常侍・監淮北諸軍事・北中郎将・徐州刺史に任じられ、王邃に代わって淮陰に駐屯した。咸和元年（326年）、死去した。安北将軍の位を追贈された。
劉遐の死後、成帝が徐州を郗鑒に与え、劉遐の部下を郭黙に引き継がせたため、劉遐の妹の夫の田防や劉遐の旧部下の史迭・卞咸・李龍らは、劉遐の幼子の劉肇を立てて反乱を起こした。郭黙らが成帝の命を受けて反乱を討つこととなり、臨淮郡太守の劉矯が反乱軍の陣営を襲撃して、田防・卞咸らを斬り、追撃して下邳で史迭・李龍を斬った。劉遐の妻子や部下たちは建康に送られた。
劉肇は劉遐の爵位を嗣ぎ、官は散騎侍郎まで進んだ。