喜田岩五郎の長男に生まれ、水郡神社（現在の錦織神社）の祠官となり氏を水郡と改める。豪農で伊勢国神戸藩の代官（大庄屋）を勤めたため士籍に列する。水郡家（喜田家）は代々勤皇の家であり生来勤皇の志が強く、志士達を金銭的に援助していた。彼の祖父も幕政批判の咎で捕えられている。
黒船来航以後、志士の動きに共鳴して京都に上るも、文久3年（1863年）「足利三代木像梟首事件」に関与し帰郷する。京都で天誅組が旗揚げした際には、邸宅がある甲田村のほか富田林村や長野村などから17名を集め、南河内の勤皇志士たちに財政面で大きな貢献をした[1]。
文久3年（1863年）8月17日の天誅組の変に際しては、自らも息子の英太郎（当時13歳）とともに挙兵に参加した[2]。挙兵直前には水郡邸にて中山忠光と会見し軍議を練り、善之祐は小荷駄奉行としてヴェール銃や槍などで完全武装した70人ともに行動した[2]。しかし、挙兵からまもなく八月十八日の政変をきっかけに天誅組が幕府から逆賊として追討される立場になると、善之祐ら河内勢は追討軍の陣屋を奇襲して物資を調達するなど善戦していたものの、次第に主将の中山らと隊の方針や軍略について対立するようになり、天誅組が天ノ辻へと本陣を移して以降は、二度に渡って本隊から置き去りにされるなどぞんざいな扱いを受けるなどして、とうとう天誅組に見切りをつけ、天ノ辻に敷いていた本陣を撤退するに当たり、中山や他の勤王志士達(吉村虎太郎、那須信吾ら土佐勢や伴林光平率いる大和勢など）とは別方面に逃亡する形で離脱。高野山を経て紀州方面へと逃亡を図った。だが、畿内各藩の追討軍の包囲網に行く手を塞がれ、さらに追討軍に内通した地元の村人に寝込みを襲われる形で爆殺されそうになり、英太郎をはじめ同志数人が負傷するなどして、進退窮まった事を悟った善之祐達は、龍神村にある紀州藩屯所に自首した後、京都へ護送され六角獄舎にて処刑された[1]。これは、7月20日（8月21日）の禁門の変の際に生じたどんどん焼けで獄舎近辺まで延焼、火災に乗じて逃亡することを恐れた役人により、判決が出ていない状態のまま他の囚人とともに斬首されたものである。
辞世の歌は「皇國のためにぞつくすまごころは知るひとぞ知る神や知るらん」。途中で挙兵に加わった大和勢の首魁にして国学者である伴林光平は、後に善之祐の人格を「性沈黙豪胆年来慨世の志深く」と評した[1]。
和歌山県田辺市龍神村には善之祐らが自首後に監禁された倉が「天誅倉」として残っており、善之祐の辞世を刻んだ柱がある[3]。
息子の英太郎は15歳未満だった事から無罪放免となり、後に戊辰戦争に従軍し、最終的に明治まで生き延びた数少ない天誅組隊士となった。明治維新後はアメリカへの留学を経て、名を「長義」と改め、大阪、和歌山、姫路などの地方裁判所の検事を歴任した。また、善之祐は明治維新後に勤皇の忠臣として、明治31年（1898年）に贈正五位を賜った[4]。
