1784年、加賀藩士であった玉井家の次男として誕生し、10歳で遠藤家に養子として入り、12歳で跡目を継いだ。金沢の町奉行所、藩の財務を担当する算用場奉行所などに勤めたが、1816年に作事奉行所勤めを辞退している。しかし、当時の藩主であった前田斉広に登用され、1922年には金沢城下の地図の作成役を命ぜられて、自作の測量器具を携えて回ることとなった。1823年には前田斉広の隠居所（竹沢御殿）に時鐘が設置されることとなり、時刻制度の改正にも携わる。翌1824年には前田斉広が死去して役職は解かれたが、藩からは事業は続けるように命ぜられている[2]。
1828年までに1/600の縮尺の地図「金沢十九枚御絵図」を完成させる。絵図は後世の火災により現存するものは10枚にとどまるが、地図作成時の記録が残るなど当時の測量技術を知る上で貴重な資料となっており[3]、2017年に石川県有形文化財に指定されている[4]。時鐘については竹沢御殿に設置された後、1652年に金沢城内に移されて運用された[5]。実際の時刻の計測手法は、遠藤らが金沢の緯度や経度を観測するなどして算出している。
