劉金国は河北省唐山専区昌黎県槐李庄郷小港村（現在の秦皇島市昌黎県新集鎮）の一般農家に生まれ、6人兄弟の次男として育った。父は劉興輔で教師、母は陳恵英で農民であった。1974年に高校を卒業後、帰郷して農業に従事し、民兵連隊副連長も兼任した。1975年に中国共産党へ入党後、村党支部書記、公社党委副書記、書記を歴任。1983年9月には推薦により中国共産党河北省委党校へ研修派遣され、2年間の修了後は昌黎県に戻り、劉台庄工作委員会副書記として政界でのキャリアをスタートさせた。
基盤党務幹部から着実に昇進を重ね、河北省秦皇島市昌黎県劉台庄工作委員会副書記・書記、県常務委員・組織部長、県党委副書記、秦皇島市山海関区党委員会副書記・区長、秦皇島市党委員会秘書長などを歴任した。
1992年5月には秦皇島市公安局長に就任し、公安・政法分野での活動を開始。1994年11月に秦皇島市党委員会常務委員・副市長兼公安局長へ昇格。1995年8月に河北省公安庁副庁長へ異動。2002年1月には河北省党委員会政法委員会書記に就任し、同年12月に河北省党委員会常務委員兼政法委員会書記として副部級に昇格した。在任中には全国公安システム一級英雄模範、河北省優秀人民公僕、優秀共産党員、廉政公僕などの栄誉称号を受けた。
2005年3月、50歳で中央に異動し、公安部副部長・党委員として経済犯罪調査を主管。2005年4月21日には副総警監の警階を授与された。政治的後ろ盾を持たない劉金国は周永康の派閥から排斥され、2009年8月から公安部規律検査委員会組長・督察長を兼任。2008年の汶川大地震では公安部前線総指揮官として全国2万人以上の公安専門救助力を指揮。2010年の大連新港油流出事故（中国語版）では現場指揮官として救援活動を統括し、その功績により国務院から個人一等功を授与され、中国中央電視台により「2011年度感動中国人物（中国語版）」に選出された。2012年10月の中国共産党第18回全国代表大会では中央規律検査委員会委員に選出。
李東生（中国語版）の汚職失脚後、2014年1月に58歳で公安部日常業務主管副部長（正部長級）・党委員会副書記に就任し、中央防範・処理邪教問題領導小組副組長・弁公室主任も兼任。当時の公安部長・郭声琨を補佐するとともに、公安部規律検査委員会組長・督察長の兼任を継続した。
2014年10月開催の第18回党中央規律検査委員会第4回全体会議で中紀委常務委員・副書記に追加選出。2017年10月には第19回党中央委員会委員に選出された。
2022年10月23日、67歳で第20回中国共産党中央委員会第1回全体会議において党中央書記処書記に選出され、副国級に昇格して党と国家の指導者となるとともに、中紀委副書記に就任。2023年3月の第14期全国人民代表大会第1回会議では楊暁渡の後任として国家監察委員会主任に選出され、紀檢システムでは李希中紀委書記に次ぐナンバー2の地位を確立した。