学問がなく、武力に長じていたと言われる。太宗の娘の高陽公主を妻とした。房玄齢の嫡男は長男の房遺直であり、銀青光禄大夫に任ぜられていた。遺愛の妻の公主は房遺直が嫡男であることを憎んでおり、公主を恐れた房遺直は爵位を遺愛に譲ろうとしたが、太宗が許さなかった。
房玄齢が亡くなると、公主の主導で兄弟間の財産の分割を不公平に進めた挙げ句、房遺直をののしった。房遺直が太宗に報告したため、太宗が公主を叱責した。
遺愛は右衛将軍・散騎常侍などをつとめた。高宗のとき、房遺直は汴州刺史となり、遺愛は房州刺史に任ぜられた。
652年、遺愛は薛万徹・柴令武・巴陵公主らと結んで荊王李元景の擁立をひそかに計画していた。しかし高陽公主が房遺直を誣告し、房遺直が遺愛と公主の罪を告発するという兄弟争いの中、長孫無忌に房遺直の発言を取り上げられ、さらには謀反の証拠をつかまれることになった。遺愛らは逮捕され、長孫無忌の思惑を汲んで、呉王李恪も謀反に加担していたと偽りの自白をした。653年2月に遺愛・薛万徹・柴令武は斬られ、李元景・李恪・高陽公主・巴陵公主は自殺を強いられた。