身分が低い家柄出身で、幼い頃から貧しい生活を送った。20歳余りの時、県から厠の仕事を貰って生計を立てた。劉霊は奔る牛を制する力と駿馬に追いつく脚力を持っていた。当時の人はこれを尋常でないと思ったが、卑賎出身であることから現地の名士は彼を推挙することはできなかった。劉霊は胸を撫でると「天よ、（世は）一体いつになれば乱れるのか」と嘆いたという。
305年、司馬穎の復権を掲げた公師藩らが挙兵すると、劉霊はこれに呼応し、将軍を自称した。趙・魏の地へ進むと、各地を大いに荒らし、略奪して回った。
308年2月、劉霊は王讃に敗れると、同じく各地を荒らしていた王弥と合流した。そして、共に漢に使者を派遣し、劉霊は劉淵より平北将軍に任じられた。
5月、王弥が洛陽攻略を目論むも失敗した。王弥は劉霊へ「晋兵はまだ強い。このままでは我らの居場所はなくなってしまう。漢王（劉淵）が昔洛陽で人質だった頃、私は彼と深く交流していた。その縁を頼りに、私は彼の下に向かおうと思うのだが君はどう思う」と相談すると、劉霊はこれに賛成した。劉霊は王弥と共に漢の都平陽に赴き、正式にその傘下に入った。
11月、劉霊は石勒・王弥・劉曜と共に3万を率いて魏郡・汲郡・頓丘を攻めた。人民はみな彼らに従い、50余りの砦が降伏した。砦主にはみな将軍や都尉の印綬を与え、勇壮な5万人を選抜して兵士とし、老弱なものは今まで通り慰撫した。
309年12月、劉霊は劉賢・趙固・王桑と共に内黄へ赴き、陣営を築いた。
後に劉霊は征北大将軍・冀州刺史となり、広宗に移った。
310年4月、王浚は将軍の祁弘を劉霊討伐に派遣した。劉霊はこれと争うも、敗れて討ち取られて、首級を挙げられた。