劉虔之の子として生まれた。新康県男の封を嗣ぎ、長沙王劉義欣の下で鎮軍参軍をつとめ、員外散騎侍郎に転じた。弓射や乗馬を得意とし、膂力にすぐれ、遊蕩に明け暮れて、法を犯すことも多かった。たびたび弾劾を受けたが、勲臣の子として処罰を猶予された。員外郎を10年つとめたが、賭博の罪で免官された。後に太子左積弩将軍に転じた。
元嘉19年（442年）、裴方明とともに仇池の楊難当を討ち、楊難当を上邽に敗走させた。しかしこの戦いで鹵獲した財宝や良馬を私蔵していたため、劉真道や裴方明らとともに獄に下され、康祖は免官となった。ほどなく武陵王劉駿が南豫州刺史となり、歴陽に駐屯すると、康祖はその下で征虜中兵参軍となり、軍務を委任された。太子翊軍校尉に転じた。後に南平王劉鑠の下で安蛮府司馬となった。
元嘉27年（450年）春、北魏の太武帝が南征し、大軍で懸瓠を包囲すると、康祖は臧質らとともに懸瓠の救援に向かった。救援を阻もうとする魏軍と会戦し、北魏の殿中尚書の任城公乞地真を斬った。康祖らが懸瓠まで40里のところに進むと、太武帝は自陣を焼いて退却した。康祖は左軍将軍の号を受けた。
河北で北魏に対する反乱が起こったのを機会に、文帝は北伐を望んだ。康祖は年明けを待つよう請願したが、文帝は聞き入れなかった。この年の秋、蕭斌・王玄謨・沈慶之らが黄河流域に入り、康祖は豫州の軍を率いて許・洛に進出した。王玄謨らが滑台で敗れると、魏軍はまた大軍を率いて南進してきた。南平王劉鑠が寿陽に駐屯していたが、文帝は寿陽が魏軍の包囲を受けることを恐れて、康祖を呼び戻した。康祖は南に軍を返し、寿陽の北数十里の尉武で北魏の永昌王拓跋仁の率いる8万騎と遭遇した。康祖が率いる兵は8000人ほどであったため、軍副の胡盛之は間道を通って寿陽に向かうよう進言した。しかし当面の敵を避ける胡盛之の策を康祖はしりぞけた。康祖は車営を結んでそのまま拓跋仁の軍と当たった。康祖は奮戦して魏軍に損害を与えたが、衆寡敵せず、矢が頸に当たって戦死した。魏軍は康祖の首級を彭城に送った。
元嘉28年（451年）、益州刺史の位を追贈された。諡は壮男といった。