第2代藩主・遠山秀友の長男。母は滋野井季吉の娘。
寛永18年4月2日（1641年5月11日）苗木城にて生まれた。
寛永19年（1642年）5月、父の秀友が亡くなったため、わずか2歳で家督を継いだ。
正保2年（1645年）、江戸城の石垣普請を命じられた。
慶安元年（1648年）、苗木領内の宗門改めを行った。また従前から続いていた諸村から上納させていた馬飼料と畳薦を免じた。
慶安4年（1651年）6月29日、将軍・徳川家綱に御目見えした。
寛文元年（1661年）増上寺勤番となり、12月28日、従五位下・信濃守に叙任した。
寛文2年（1662年）、藩主となって初めて苗木城に帰城した。
弟の半九郎に5,000石、半左衛門に1,000石を分知したので、苗木藩は10,500石となった。
藩祖以来の重要政策である新田開発を奨励し、犯罪人を荒廃地に強制移住させて開墾を行わせ623石の新田を得た。
寛文4年（1664年）1月18日から24日まで、台徳院(徳川秀忠)の三十三回忌につき、江戸の増上寺の庫裏御番を勤めた。
寛文4年（1664年）10月6日、 家老の遠山太左衛門は、やはり家老で従弟の遠山勘兵衛（初代勘兵衛の孫、300石）宅を訪れ、斬合いとなり、太左衛門は勘兵衛を斬殺したが、自分もその場で勘兵衛の家士の者に討たれた。 このため、重臣遠山両家共が断絶となり、苗木藩で遠山を名乗るのは藩主のみとなった。
寛文6年（1666年）1月20日、妻の久世広之の娘が没した[2]。江戸本郷の本妙寺に葬ったが、久世家が法華宗陣門流であったため、妻の供養のために苗木新谷に法華宗陣門流の正中山 佛好寺を開創し供養塔を建立した。
明治3年（1870年）、佛好寺は苗木藩による廃仏毀釈の際に廃寺とされた。岩村の妙法寺には佛好寺から引き取った寺宝が多く残されている。
その後、木下利貞の娘[3]を娶った。
寛文11年（1671年）秋、駿府加番を勤め、家老の纐纈市兵衛が随行した。
延宝3年（1675年）5月6日、熱海で湯治中に病死した。享年35歳。家督は長男の遠山友春が継いだ。
墓所は岐阜県中津川市苗木の苗木遠山家廟所。
