光緒癸卯科(旧暦:光緒29年)挙人。日本に留学し、法政大学専門部法律科を卒業したとされる[3]。
帰国後は北京政府に出仕し、直隷高等検察庁検察官署理、京師高等審判庁推事署理、京師高等審判庁推事を歴任している。1916年(民国5年)4月2日、大理院推事代理となり、1918年(民国7年)7月31日、正式に推事に任命された。翌1919年(民国8年)6月13日に奉天高等審判庁庁長署理となるも、1920年(民国9年)8月26日には大理院推事に復任している[6]。また、安徽省に戻って安慶道尹、安徽省教育庁庁長、安徽省長公署秘書長を歴任し、冀察政務委員会では法制専門委員となった[4]。
王克敏らが中華民国臨時政府を北京で樹立すると、呂世芳もこれに参加した。1938年(民国27年)1月1日、司法委員会委員に任命され[7]、同年3月12日には最高法院推事[8]、7月18日には中央公務員懲戒委員会委員代行を[9]、それぞれ兼任した。また、最高法院では民庭長も兼ねたとされる[4]。
1940年(民国29年)3月30日、臨時政府が南京国民政府(汪兆銘政権)に合流し、華北政務委員会に改組される。臨時政府最高法院は中華民国最高法院華北分院に改組され、呂世芳はこの時に事実上重任していたと考えられる。なお人事としては、翌1941年(民国30年)1月23日、最高法院華北分院推事兼庭長にようやく正式任命された[10]。
以後、呂世芳の動向は不詳である。