千葉県木更津市に生まれる。1958年（昭和33年）3月、千葉県立木更津第一高等学校（現千葉県立木更津高等学校）卒業。家業を継ぎ、半農半漁の生活をしていた頃、八幡製鉄の君津・木更津地区進出の噂を聞き、勤めに出ることを決心。1959年（昭和34年）7月、木更津市役所に採用される[2]。
1999年（平成11年）6月、市役所を退職。同年7月、収入役に就任。2000年（平成12年）4月、助役に就任[2]。
2002年（平成14年）2月14日、37億円の借金を抱え、税金滞納までしていた木更津市長の須田勝勇が、指定暴力団から約3億1千万円の借金をしていたことが新たに発覚。これが引き金となり、須田は2月20日に辞職。
水越に当初、市長選への出馬の意志はなかった。ところが千葉12区を地盤にもつ浜田靖一、中村正三郎の両衆議院議員が有力な候補者を挙げられなかったことから、革新市長の誕生を恐れた両派によって助役の水越が擁立された。自民党・民主党・連合千葉の推薦を受けて立候補。3月31日に行われた市長選で元市議の高橋てる子、元市議の大野俊幸ら4人の候補者を破り、初当選を果たした。投票率は48.85％で過去最低を記録した。
2006年（平成18年）、前回戦った高橋てる子を破り再選[3]。2010年（平成22年）、元建設省職員の石川哲久ら2候補を破り、3選[4]。2014年（平成26年）の選挙は出馬せず政界を引退[5]。2015年 春の叙勲で旭日小綬章を受章[6]。
