寛政5年（1793年）11月22日、美濃大垣藩の第7代藩主・戸田氏教の三男として江戸呉服橋の戸田屋敷で生まれる。享和元年（1801年）12月8日、三上藩の第4代藩主・遠藤胤富の養子となる。文化6年5月15日、将軍徳川家斉に拝謁する。文化8年（1811年）6月23日に胤富が病で隠居したため家督を継ぎ、12月11日に従五位下・但馬守に叙位・任官する。
文化9年（1812年）2月3日に江戸城田安門番に任じられ、4月17日に日光祭祀奉行に任じられる。その後も大坂城青屋口加番、江戸城馬場先御門守衛、大坂城雁木坂加番、大坂城玉造口定番など諸役を歴任した。
天保8年（1837年）の大塩平八郎の乱の際には玉造口定番を務めていた。京橋口定番は米倉昌寿であったがまだ着任していなかったため、胤統が両口の守備を兼務し、大坂城代土井利位の下で鎮圧に功績を挙げた。大久保忠真、松平乗寛、水野忠邦の三老中連署の感状が贈られ、将軍家斉からは鞍鐙が下賜された。
第11代将軍・徳川家斉と第12代将軍・家慶の双方から信を受けて天保12年（1841年）8月10日、若年寄に任じられ、嘉永4年（1851年）まで10年間務めた。嘉永5年（1852年）12月25日、江戸城御勝手掛および西ノ丸造営奉行、海岸防御筋御用掛を命じられ、2000石の加増を受けて領地は計1万2000石となる。
胤統が構築に関わった第六台場
胤統と樺太問題で交渉したニコライ・ムラヴィヨフ＝アムールスキーの肖像画（1863年）
幕末期の幕政にも参与し、徳川将軍家の諸大名との婚姻の事務関係の処理を務め、ロシアとの領土交渉や、第14代将軍・徳川家茂と和宮の婚姻をまとめる功も挙げている。和宮の関東御下向の際には、婚姻大礼御用掛を勤めた。
安政元年（1854年）内海台場築造用掛（お台場）を命じられ、万延元年（1860年）4月15日には城主格に任じられ、本丸造営御用掛に就任、5月には国益主法御用掛、外国貿易筋御用掛に就任した。
安政6年（1859年）、ロシアの東シベリア総督ニコライ・ムラヴィヨフ＝アムールスキーが、自ら軍艦7隻を率いて江戸湾の品川に来航。樺太全土は露領と威嚇、主張したが、同年7月26日、虎ノ門天徳寺における江戸幕府とムラヴィヨフの会談の席上、幕府は外国事務掛の胤統と酒井忠毗を通してこれを完全に退けた。
安政7年3月3日（1860年3月24日）早朝、桜田門外の変により、大老井伊直弼は討たれた。井伊家の行列に襲撃をかけた実行犯の一人、有村次左衛門が直弼の首級を掲げて現場を離れたが、有村は深手を負っており逃走不能と判断し、遠藤家屋敷の門前で自決を図った。有村は遠藤家藩邸内に収容されたが、同日中に死亡した。たまたま遠藤家の門前であっただけなのだが、これにより”井伊直弼の首級”を遠藤家が入手してしまい、直弼に対しあまり良い感情を持っていなかった胤統ら遠藤家側と、首級の返還を求める井伊家との間で、返還交渉は同日夕方まで押し問答となった。
万延元年（1860年）7月、老齢を理由に諸役を免ぜられたが、文久元年（1861年）4月16日、軍制用掛・陸海軍備向に任じられた。7月15日に従四位下に昇叙され、7月19日には民部大輔に遷任された。この官位は1万石クラスの大名としては異例の高位である。
文久3年（1863年）10月7日、老齢を理由に隠居を許され、家督を三男の胤城に譲って引退した。それでもなお、元治元年（1864年）12月19日には中務大輔に遷任するなど、幕府の信は厚かった。
明治3年（1870年）9月25日に死去。享年78。
