兄の呂祖謙の下で学び、兄の没後に時の宰相であった周必大らに認められ、籍田令・台州通判などを歴任した。ところが、韓侂冑が政権を握り、朱熹や周必大らが追放される（「慶元の党禁」）と、追放に反対して韓侂冑の排除を求めた。そのため、慶元元年（1195年）4月に韓侂冑によって韶州に配流され、その地で死去した。著書に『大愚集』がある。
朱熹に始まる朱子学が正学とされた元代に編纂された『宋史』では、同族でやはり党禁批判で捕らえられた呂祖泰（呂祖倹の従弟）とともに「忠義伝」に加えられている。当時、無官で韓侂冑暗殺後に迪功郎（従九品）に任ぜられたに過ぎない呂祖泰が列伝に加えられているように、朱子学の儒学者やこれを支持・擁護した人々を高く評価する傾向にあった『宋史』の特徴が呂祖倹の評価にも反映されたと考えられている。