「太尉」という名称が文献上最初に登場するのは『呂氏春秋』孟夏紀である。元は「国尉」と称され、『史記』には白起が国尉に任命されたことが記されている。春秋戦国時代後期になると、左庶長・左更・大良造などは二十等爵として爵位化し、将軍・上将軍が現場の軍事指揮官となり、国尉が中央の軍事長官へと変化した。
秦の中国統一後、国尉を改めて太尉と称し、秦朝の軍事を総管する最高官職とした。ただし、15年程度で滅んだ秦朝では太尉は実際には任命されず、事実上「空位」のまま終わったとされる。秦及び前漢では三公の一つとして重要な役職であったが、『史記』や『漢書』を見る限りでは、丞相や御史大夫と違い、常設されなかったようである。他の三公同様、自らの府を開いて（開府）属官を任命することが許されていた。
前漢の武帝の建元2年（紀元前139年）に廃止された。『漢書』百官公卿表上によれば、その後は大司馬を冠した将軍が太尉に相当したようである。また、『漢書』黄覇伝によれば、太尉を廃止した後、武を休め文を興すためにその職務は丞相が兼ねるようにした、とされている。
後漢の光武帝の建武27年（51年）、大司馬が太尉と改称され、太尉は再び三公の一つとなった。三国時代の魏もこれを継承し、賈詡・鍾繇らが就任した。