貧しい桶職人の家庭に生まれる。1875年（光緒2年）、福建馬尾船政学堂駕駛（操舵）科第4期で学び、4年後に卒業した。その後、訓練・昇進を重ね、1883年（光緒9年）、高速船「揚威」の幇帯に任命された。1884年（光緒10年）の中仏戦争では、福建省へ向かうことになった。しかし途中で、朝鮮の東学党討伐のため朝鮮へ赴任先を変更された。
1885年（光緒11年）、戦艦「定遠」の大副（一等航海士）に任命された。1886年（光緒12年）3月、劉冠雄は清朝により留学生に選抜され、イギリスに留学する。各種技術を学んだ後、翌年12月に帰国した。まもなく「靖遠」の艦佐に任命され、千総（六品官、少尉相当）となっている。
1894年（光緒20年）、劉冠雄は「靖遠」の幇帯に任命され、日清戦争に参戦した。劉は、大東溝の海戦で日本軍と交戦し、果敢な操船により善戦した。この時の活躍は、後に袁世凱からも賞賛を受けている。
しかし、翌年1月の威海衛の海戦で「靖遠」は撃沈され、劉冠雄は辛うじて救出された。日清戦争終結後、劉は大東溝での功績をもって海軍に留められている。1898年（光緒24年）には、当時の中国における最大級の戦艦「海天」の管帯に抜擢された。
1904年（光緒30年）、劉冠雄は任務により秦皇島から江陰へ「海天」で向かう。途中、悪天候に見舞われたが、劉は大副杜錫珪の諫止を無視してその中を盲進した。結果、呉淞口付近で「海天」は座礁、沈没してしまう大失態となった。袁世凱の取り成しにより、劉は辛うじて一時免職のみで救われている。その後、徳州兵工廠総弁、北洋海防営務処会弁、広東水師営務処総弁などを歴任した。
辛亥革命勃発後、劉冠雄は上海へ向かい、上海都督陳其美により、上海都督府海軍高等顧問として招聘された。1912年（民国元年）1月、南京臨時政府が成立すると、劉は海軍部顧問として招聘された。しかし、まもなく湯薌銘、杜錫珪と共に煙台へ向かい、そのまま袁世凱に帰属してしまう。
同年3月、唐紹儀内閣が成立すると、劉冠雄は海軍総長に任命される。以後、劉は近代海軍制度の整備に尽力した。同年12月に海軍上将の位を授与される。また、陸徴祥・趙秉鈞・熊希齢・徐世昌の各内閣で海軍総長をつとめた。
1913年（民国2年）7月の二次革命（第二革命）では、劉冠雄が自ら艦隊を率いて南下し、呉淞砲台の戦いに参加した。さらに袁世凱から南洋巡閲使に任命され、江蘇省の反袁軍を撃破した。この時の軍功により、一等文虎章、一等嘉禾章などを授与されている。
同年12月、福建都督孫道仁が北京に召還されたことを受け、劉が福建都督を兼任した（同年12月、福建都督の位自体は廃止されている）。劉は、省内の国民党に弾圧を加え、その勢力をほぼ壊滅させた。1914年（民国3年）2月、北京に召還されている。
1915年（民国4年）12月、袁世凱が皇帝に即位すると、劉冠雄は二等公に封じられた。しかし劉自身は、袁の即位に好意的ではなかった。そのため1916年（民国5年）1月、劉は北京を離れて南下し、海軍への統制を強めながらも、反袁の護国軍討伐には積極的に動こうとしなかった。
同年6月に袁世凱が死去すると、劉冠雄はいったん辞職して天津に寓居する。同年7月、国務総理段祺瑞の要請により、再び海軍総長となり、王士珍内閣、銭能訓内閣でも海軍総長をつとめた。劉は、海軍増強こそが国防の要であるとの考えから、10か年計画による海軍増強計画の推進に尽力した。実際には、北京政府の財力不足や陸軍重視姿勢により、完全な実現こそならなかったものの、人材育成など一定の成果は残している。1919年（民国8年）12月、海軍総長を辞任した。
1922年（民国11年）11月、劉冠雄は、福建鎮撫使に任命された。しかし当時の福建省では、北京政府派の薩鎮氷と南方政府派の林森とが激しい政治抗争を繰り広げていた。後者の圧力を受ける形で、劉はまもなく福州を離れて、廈門に移った。翌年1月、孫伝芳らの支援を受けた薩が林を駆逐し、一時的に薩と劉が揃って弁理福建善後事宜に任命された。しかし、劉はすぐに閩粤海疆防禦使に異動した。同年11月、劉は引退して、天津に寓居した。
1927年（民国16年）6月24日、劉は天津で病没した。享年67（満66歳）。
.svg){kind=small}
