曾祖父の呂韜は唐代に莫州莫県（現在の河北省滄州市任丘市）の主簿。祖父の呂夢奇は後唐の兵部侍郎・北京副留守を務めた。父の呂亀図は北宋の起居郎。叔父の呂亀祥は寿州知州を務めた。
太平興国元年（977年）の科挙で丁丑科の進士第一に及第、太平興国11年（987年）に左諫議大夫兼参知政事となり、端拱元年（988年）に中書侍郎と戸部尚書を兼ねたまま同平章事（宰相）となり、その後淳化4年（993年）と咸平4年（1001年）にも宰相の職に任ぜられた。その後、病で辞職し、里に帰る。
太平興国元年の科挙は太宗治世下最初の科挙であったが、即位の際に様々な疑惑が囁かれた太宗が自己に忠実な官僚への入替促進を図り、その最初の科挙の進士第一であった呂蒙正は早くから宰相候補とされ、彼もその期待に応える実績を重ね、わずか11年で宰相となり、次の真宗にも重んじられた。真宗は呂蒙正の息子を登用しようとしたが、彼は息子はその器ではなくそれよりも甥（呂亀祥の孫）である呂夷簡を重んじるように薦めた（『宋史』呂蒙正伝）。実際に呂蒙正の男子は9名伝わるがいずれもその業績は知られなかった一方で、呂夷簡は呂蒙正と同様に3度にわたって宰相を務めることになった。
