若い頃から学を好み、弁舌や文章に優れていたことで郡中でも有名だった。18歳にして博士弟子に選ばれ、長安へ行くこととなった。徒歩で関所を通過する際、関所の役人が戻ってくる時のための割符を渡したが、終軍はそれを捨ててしまった。
長安に到着すると上書して建策をし、武帝は彼を認めて謁者給事中に任命した。
武帝が雍に行き五畤を祀った際、白麟を捕らえた。また、横に伸びた枝がもう一度木にくっついているという奇妙な木が見つかった。武帝が群臣にそれが何の兆候であるか尋ねたところ、終軍は今に異民族が漢に降伏してくるという兆候だと答えた。武帝はこの兆候を元に改元して元号を元狩と名づけた。数カ月後、東甌と匈奴の王が降伏してきたため、人々は終軍の言うとおりだと言った。
博士徐偃という人物が、各地の風俗を巡察する使者となった際に皇帝の命令と偽って膠東と魯国で塩と鉄を作らせたと言う事件があった。御史大夫張湯が彼を死罪にしようとしたが、徐偃は反論し、張湯は論破できなかった。そこで武帝は終軍に徐偃を詰問させ、徐偃を論破した。
終軍は各地を視察する使者になり、皇帝の節を奉じてかつて通過した関所を通った。関所の役人は彼の顔を見て「この使者は以前に割符を捨てた学生ではないか」と驚いた。
終軍は匈奴に使者を出すという話を聞くと、自ら使者となることを願い出た。武帝は彼を諫大夫とした。
その後、南越が漢と和親を結ぶと、武帝は終軍を南越に遣わし、王に長安への入朝を勧めさせようとした。終軍は「長い紐をいただければ南越王をつないで連れてきましょう」と言った。
元鼎5年（紀元前112年）、終軍は南越王を説得し、王は国を挙げて漢に従うこととしたが、南越の宰相である呂嘉は降伏を欲せず、挙兵して王や漢の使者を殺し、終軍も死んだ。
終軍は死亡した時に二十数歳であり、世間では彼を「終童」と呼んでいた。