宝暦6年（1756年）、長州藩家老福原広門の長男として生まれる。安永3年（1774年）、藩主毛利重就の偏諱を受け、初名の俊郷（としさと）から就郷（なりさと）、次いで就清に改名。安永9年（1780年）、光格天皇即位の祝賀使を務める。天明6年（1786年）、長州藩が関東諸河川普請手伝の幕命を受け、河川普請総奉行を務める。天明7年（1787年）に「猗園随筆」を著した。「猗園」には傾倒する荻生徂徠の伝記等を収録。天明9年（1789年）、父の隠居により家督を相続する。
寛政3年（1791年）5月、徳山藩主毛利就馴の子の馴倫（よしのり、後の房純）を養嗣子とする。同年8月18日、江戸藩邸で死去。享年36。