1864年に現在の鳥取県に生まれ、明治維新を経た後、郷土の産業開発に専念していたが、1890年に森永太一郎を含む友人たちとアメリカに渡る。8年間の洋菓子製造の修業中にカリフォルニア州のオークランドでキリスト教に触れてメソジスト教会で洗礼を受けた。そのことを契機に1891年にアドベント教会に転会し、製菓事業の夢を捨てて日本宣教を目指す。1893年から五年間にわたりアメリカで神学教育を受けて、1898年に按手礼を受けてアドベント教会の日本人最初のアメリカ・アドベント教会の宣教師として郷里の倉吉市に戻ってキリスト教の伝道に着手し、生涯一途に生きた。[1]
帰国したころは周囲は有望な洋行帰りと期待したが、事業の意思は全く示さず、日本が発展しつつ徐々に軍事大国化していく中で、落胆を交えた周囲の冷たい目に耐えながら、孤立独立して黙々と伝道活動を続け、素朴で天心爛漫な詩人のような説教で多くの人に影響を与えた。昭和初期、大阪地区に教会を設立する熱望に燃え、洗礼をほどこした羽根田薫牧師を説得して招き、西成区に教会を新設した。自身は生涯、郷里の倉吉で過ごし、戦争に反対し続けながら、第二次世界大戦が終わる2週間前に永眠した。
戦後、アメリカにおいて岩越政蔵の一生に対する大きな再評価が巻き起こり、「偉大なる政蔵牧師キャンペーン」行われて、巨額な献金が捧げられ、鶴見橋教会（現在は日本キリスト教団に所属）が建立された。その後、複数の宣教師が遣わされて形成された日本アドベント・キリスト教団は日本国内に15ほどの教会、伝道所を有する教団に成長している。また、海外のアドベント教会（再臨派）との交流もある。