貧家に生まれて、耕作に従事しながら、学問を好んだ。はじめは同郷の劉敬宣の下で寧朔府司馬となり、孫恩の乱を討って、戦功を挙げた。龍驤司馬・費県県令となった。元興2年（403年）、劉裕が桓玄を討つべく起兵すると、懐粛は県令の職を棄てて劉裕のもとに駆けつけた。
元興3年（404年）、劉裕が建康を平定すると、その異母弟である振武将軍劉道規が桓玄を追撃したが、懐粛はその下で司馬となった。桓玄は何澹之や郭銓らを桑落洲にとどめて守らせていたが、劉道規と懐粛は進撃してこれを破った。桓玄の部将の劉統・馮稚らが尋陽を落とすと、懐粛は劉毅の命を受けておもむき、これを撃破した。高平郡太守に任じられた。桓玄が斬られ、その甥の桓振が江陵を陥落させると、劉毅・何無忌らは尋陽に撤退した。懐粛は江夏相の張暢之とともに何澹之を西塞に攻撃して破った。楚の鎮東将軍馮該が夏口の東岸に駐屯し、孟山図が魯山城に拠り、桓仙客が偃月塁を守って、連係して阻止線を張った。懐粛は劉道規とともにこれらを攻撃すると、2城を陥落させ、馮該を石城に敗走させ、桓仙客を生け捕りにした。
義熙元年（405年）1月、桓振が敗走すると、懐粛は劉道規の命を受けて石城を平定し、馮該とその子の馮山靖を斬った。3月、桓振が再び江陵を襲撃し、荊州刺史の司馬休之が逃亡すると、懐粛は雲杜県から昼夜兼行で駆けつけ、桓振の軍に対して突撃した。流れ矢で額を負傷しながらも奮戦し、桓振を斬首した。江陵が平定されると、司馬休之が江陵に帰還して、懐粛の手を取って謝辞を述べた。楚の輔国将軍苻嗣・馬孫・龍驤将軍張靖・楽志らが江夏に駐屯していたため、懐粛はこれを攻撃して、楽志らを斬首した。劉道規により都督江州之武昌荊州之江夏隨郡義陽綏安豫州之西陽汝南潁川新蔡九郡諸軍事を命じられ、夏口に駐屯した。通直郎の位を受け、輔国将軍・淮南歴陽二郡太守となった。
義熙2年（406年）、太守のまま劉毅の下で撫軍司馬を兼ねた。功績により東興県侯に封じられた。この冬、桓石綏・司馬国璠・陳襲が胡桃山で兵を集めて反乱を起こすと、懐粛は兵を率いてこれを撃破した。長江と淮水のあいだの諸民族や桓氏の残党に対して、懐粛は自ら討伐を志願したが、すでに反乱の実態を失っていたことから、劉毅は上表して懐粛を免官させた。義熙3年（407年）、懐粛は死去した。左将軍の位を追贈された。
子がなく、弟の劉懐慎の子の劉蔚祖が封を嗣いで江夏内史となった。