1907年（明治40年）8月、福島県河沼郡会津坂下町に農家の子として生まれる。家業を継いで農家になるが、どれだけ熱心に働いても収入が少なく、田畑も自分の物にならないジレンマを感じ、27歳の時に僅か11銭を持って東京へ出奔する。東京では「第二食堂」という店で3年間熱心に働いたことで、店主の紹介で同じ食堂で働いていた女性と結婚。妻の妹が大阪で所帯を持っていたことをきっかけに、大阪へ転居する。大阪では屋台寿司と関東煮を出す屋台を構えるも、昭和恐慌による不景気が尾を引いていたこともあり、振るわなかった[2]。
1933年（昭和8年）、業態をラジオ焼き店に変更[3]するも、子供のおやつとしての立ち位置だったこともあり、販売総量はあまり多くなかった。この際に「明石ではタコを入れた卵焼きがある」と客から聞いたことをきっかけに、遠藤はラジオ焼きへタコを入れた改良品を思いつく。1935年（昭和10年）、業態を変えて新たにたこ焼き屋として再出店。これも当初はあまり売れなかったが、地道に改良を重ねてヒットへ繋げた。第二次世界大戦による疎開を経て、1948年（昭和23年）に大阪へ戻った後、1949年（昭和24年）に西成区天下茶屋へ店を構える。 1965年（昭和40年）、息子である遠藤吉蔵(1941年生)が会津屋2代目代表に就任し、後進に道を譲った。ただし、衣の仕込みだけは禅譲後も毎日続けていたという[4]。
1997年（平成9年）、89歳で死去。
