嘉永6年1月22日（1853年3月1日）、因幡国鳥取（現在の鳥取県鳥取市材木町）に生まれた。父は鳥取藩士の遠藤重嘉、母は雪であり、董は長男だった。幼名は東造[4]。
文久元年1月（1861年1月または2月）には鳥取藩の藩校である尚徳館に入り、坂田潤蔵の門弟となる。元治元年（1864年）、根本雪峨に入門して絵画を学んだ。慶応元年（1865年）、東造から藤蔵に改名した。
1874年（明治7年）、広島師範学校に入学し、原介一に初めて洋画を学ぶ[5][6]。1877年（明治10年）、上京して高橋由一の「天絵社」に入学、ここでも洋画を教授される[5][6]。1878年（明治11年）、画学伝習に尽力したとして10円を支給される[5][6]。この年自画像（30号）（焼失）を描く[5][6]。
遠藤の胸像
1890年（明治23年）、因幡小学校に久松文庫（きゅうしょうぶんこ）を設けた。自身の図書を持ち込んで蔵書とし、生徒の利用に供した。
1902年（明治35年）、久松文庫は鳥取市教育会の管轄下に置かれ、私立鳥取文庫に改称して一般市民にも開放された。遠藤が私立鳥取文庫の庫長となっている。1907年（明治40年）5月、私立鳥取文庫は私立鳥取図書館に改称した。
1910年（明治43年）、鳥取盲唖学校の構想に基づき、「積善会」を立ち上げる。盲唖学校の設立認可を受けると、私立鳥取盲唖学校（現在の鳥取県立鳥取盲学校と鳥取県立鳥取聾学校の前身）を設立して学校長に就任した。
1918年（大正7年）、私立鳥取図書館の建物・蔵書のすべてを基金も含めて鳥取市に寄贈した。鳥取県内初の公立図書館である鳥取市立図書館が発足し、遠藤は館長事務取扱に就任した。1929年（昭和4年）3月には館長事務取扱を辞任した。その後、鳥取市立図書館は鳥取県に移管されて鳥取県立図書館に改称した。
1937年（昭和12年）、私立鳥取盲唖学校は鳥取県立鳥取盲聾唖学校に改称し、初代校長兼教諭に任ぜられた。1940年（昭和15年）、鳥取県立鳥取盲聾唖学校長並びに教諭を辞した。 1945年（昭和20年）1月22日に死去した。
