雁門郡楼煩県（山西省忻州市寧武県）出身の人である。21歳の頃に釈道安の元で出家した。道安に随って各地を転々としたが、襄陽に住した時に前秦の苻堅が侵攻し、道安を長安に連れ去ったため、慧遠は師と別れて南下し、荊州上明寺に移った。
その後、尋陽郡柴桑県に至って廬山に入り、西林寺、のち東林寺に住した。それ以後30年余り、慧遠は一度も山を出なかったという。この事実を踏まえて創作された「虎渓三笑」の話が知られる。
隆安5年（401年）、鳩摩羅什が関中に入り国師として後秦の都長安に迎え入れられると、慧遠は鳩摩羅什と往復書簡を交わし、新出の経典についての疑問点等をただした。その書簡集が『大乗大義章』である。
元興元年（402年）、慧遠は同志123名と廬山山中・般若台の阿弥陀仏像の前で、念仏実践の誓願を立てる。これによって、慧遠は白蓮社の祖と仰がれることとなる。ただし、慧遠の念仏行は、後世の浄土三部経に基づく称名念仏とは異なり、『般舟三昧経』に基づいた禅観の修法であった。
さらに、当時、廬山を含む長江中流域の覇者であった桓玄に対して、仏法は王法に従属しないことを正面きって説いたのが『沙門不敬王者論』である。
持戒堅固な慧遠は戒律の整備にも努め、『十誦律』の翻訳及び普及に尽力した。
