祖先の呂兗は唐末に滄州の義昌軍節度使劉守文（劉守光の兄）配下の判官、父の呂琦は後晋の兵部侍郎、兄の呂余慶は後晋で開封府参軍、北宋において成都府知府・蔡州知州を務めた。
太宗が呂端を宰相に用いようとしたとき、「呂端は、いい加減である（呂端為人糊塗 糊塗:めちゃくちゃな）」と非難する者がいたが、太宗は「端は、些細な事にはいい加減であるが、大事なことはおろそかにしない（端小事糊塗，大事不糊塗）」と言って、至道元年（995年）に呂蒙正をついで宰相となった[2]。
太宗崩御後、内侍王継恩[3]による太子を廃し、別の皇帝を立てる陰謀を阻止し、真宗を即位させた。咸平元年（998年）に病のため、宰相の職を辞し、咸平3年（1000年）に66歳で没した。死にあたって、司空を贈官され、正恵を諡号された。