幼少から匈奴と境を接する北方で羊の放牧の仕事をし、匈奴の生活や文化に詳しかった。だが、奴隷のように扱われ、時には父親などから虐待を受けていたという。逸話として、人に従い甘泉宮に訪れた際に甘泉宮にいた人から「あなたには貴人の相があり、将来は出世するだろう」と言われたものの、衛青は「鞭で打たれるような生活から脱却できればそれで十分」と答えたという。
そのように身分は相当低かったものの、姉の衛子夫が武帝の寵姫となったことや騎射の名手であったことなどから、引き立てられる。衛子夫を憎む陳皇后一族により拉致・監禁されたことがあるが、友人の公孫敖の働きで救出された。
匈奴征伐に際して車騎将軍に任命され、匈奴の事情に通じていたことから十数回出陣し、連戦連勝して匈奴の首を数万討ち取り、匈奴の領土（現在の内モンゴル自治区バヤンノール市）を奪い取るなど、多大な功績を挙げる。その後、軍功により大司馬大将軍にまで出世するが、政治にはあまり口出ししなかった。『史記』に残っている政治的行動としては、武帝が豪族を建立中の武帝陵墓周囲へ移住させた際に、任侠の郭解は豪族でないから移住から除外すべきと武帝に助言した程度であった。
大将軍に出世後、武帝の姉である平陽公主を妻とした。彼女はかつて衛青を使用人として使っており、また曹時（曹参の曾孫）との間に嫡子がありながら病を理由に離縁されていた。
甥の霍去病が台頭すると、人気・軍功ともに譲ることになる。しかし霍去病が24歳で死去したため、軍の第一人者であり続けた。
衛青は幼少時の苦労から、将軍になっても威張るようなことはなく、いつも武帝の顔色を心配し独断で判断せず、兵卒にも気軽に接していた。また、自殺に追い込んでしまった李広に負い目を感じてか、李広の息子の李敢に切りつけられても黙っていた（しかし霍去病はこれを聞きつけ怒り、李敢を殺害した）。一方で朝廷や世間などでの人気は、苦労した衛青ではなく、若くして活躍し衛青との義侠に生きながらも夭折した霍去病の方が上であった。
墳墓は、霍去病の墓の隣、武帝の墳墓である茂陵の近くに立っている。子で長平侯を継いだ衛伉は巫蠱の禍に連座して処刑された（『資治通鑑』巻22）。衛伉の弟の陰安侯衛不疑、発干侯衛登は酎金事件（中国語版）の際に列侯を除かれ（『漢書』巻55）、巫蠱の禍に際して彼らが兄に連座したか否かは明確な記述はないが、衛氏はみな殺されたとある（『漢書』巻97）。のちに衛子夫の血を引く宣帝の時代、衛登の子（衛青の孫）が許された（『漢書』巻18）。
