秦・漢のとき以来、中国では政務を議す宰相である丞相（漢では三公）の下部にあって庶務を担当する大臣を九卿といい、それぞれの管掌する官庁の称として寺が使われたことに由来する。「寺」は現代日本語では仏教等の寺院の意味に限定して使われるが、原義は元来役所の意味であり、寺院の意味に使うようになったのが後である。ただし、九卿の官庁が明確に九寺と呼ばれるようになるのは比較的遅く、北斉においてであった。同様に庶務を担当する機関として五監がある。
漢の滅亡後も九寺は六朝の頃まで庶務機関として重要視されたが、魏において機密文書の処理機関であった尚書が長官を宰相とする実務行政の最高機関となり始め、魏晋南北朝時代を通じて尚書省の各部局（のちの六部）が次第に九卿の実務を奪っていった。
中国を再統一した隋は旧制を取り入れ九寺を六部の下位に置いた。続く唐の制度は隋制を踏襲したため九寺はそのまま残されたが、尚書省・六部の権限が既に確立されており、九寺の権限はほとんど有名無実化していた。その後、唐の制度が中国の制度の理想形とされたため九寺の名は容易にはなくならず、宋・元にもみられたがほとんど形骸に過ぎず、次の明において五寺に削減された。