呂夷簡の一族は元は河南府の洛陽出身であったが、祖父の呂亀祥が寿州の知事になったのをきっかけに同地に移住した。そのため、夷簡ら亀祥の子孫の出身地を河南とする文献と、寿州とする文献が存在する。咸平3年（1000年）に進士となり、地方官を歴任して、浜州の知事の時代には農具などの税を廃止するなどの善政を行った。さらに契丹への使者や権知開封府などの要職を務めた後、乾興元年（1022年）に真宗によって参政知事に任ぜられ、天聖7年（1029年）に仁宗によって同平章事（宰相）に任ぜられた。
明道元年（1032年）に一旦宰相の地位を去ったが、程なくして復帰した。その後、仁宗が不仲となった郭皇后を廃そうとした時これに賛同したため[1]、范仲淹ら若手官僚集団との対立を招いた（慶暦の党議）。景祐4年（1037年）に再度宰相を辞めたが、すぐに呼び戻され、康定元年（1040年）に同平章事に任ぜられた。慶暦3年（1043年）に太尉で官を辞するが、改めて平章軍国重事に任ぜられて中書省や枢密院の顧問的な役割を担った。没するまで仁宗の信任が厚く、延べ3度、10年5か月にわたって宰相を務め、実務派として知られた。
明代の王夫之は「夷簡は仁宗当時の最年長の大臣であり、誹られても怒らず放逐されても恥じないというやりかたで上は帝、下は諸官と意思を疎通させた。その心術は後世にとって計り知れないところが多い」と賞賛している[2]。