福岡県筑紫郡住吉村（現・福岡市）に生まれる。本名は泰生（やすお）。1901年福岡県中学修猷館[1]を経て、1906年、東京美術学校日本画科を首席で卒業する[2]。
その後、寺崎広業に師事し、日本絵画協会・日本美術院連合絵画共進会展や、広業を会長として門下生らを中心に組織されていた美術研精会の展覧会などに出品。1907年、東京勧業博覧会に『残菊』で褒状を受け、同年帰郷して福岡県女子師範学校教諭などをつとめる。
1913年、第7回文部省美術展覧会（文展）の第一科に『桐』が初入選。1914年、第8回文展で『琉球の花』が3等賞を受賞。1915年、第9回文展で『樺太の夏』が3等賞を受賞。1916年、再び上京し、第2回聖徳太子奉讃美術展に『竹林双鶴』を出品。その後、帝国美術院展覧会（帝展）と改名した官展に出品を重ねるが、1920年、帝展審査に反発して石井林響、島田墨仙らと如水会を結成。
1927年、帝展委員に選定され、1928年、帝展の無鑑査（鑑査なしで出品できる資格）となる。1935年の帝展改組では第一部会の結成に実行委員として参加。1936年秋の文展招待展に『群鯉二態』を招待出品。1937年、革新日本画会の結成に創設会員として参加する。1941年、1943年と文部省美術展覧会（新文展）と改名した官展に無鑑査出品、1944年、戦時特別文展の『国華凌霜』が最後の官展出品となる。
写生的な花鳥画を得意とし、特に鯉を描いて第一流であったため、「鯉の水上」といわれた。
1938年に落成した住吉神社能楽殿（福岡市指定文化財）の舞台背面と側面の鏡板の老松・若竹は、水上の手によるものである。
1951年2月21日、東京都杉並区の自宅において死去（享年74）[3]。