後唐の同光3年（925年）に科挙に合格して進士となり、当時節度使の一人であった石敬瑭の元で書記を務めた。後晋建国時に契丹からの支援を取り付けて創業を助け、枢密院使から相州節度使に転じた。だが、契丹への屈辱を非難して契丹との断交・即時開戦を求める安重栄や景延広らが官民の支持を集めるようになると、桑維翰は現在の後晋の国力では契丹に太刀打ちできないとして国力の充実を優先すべきとの意見を唱えた。だが、石敬瑭の没後、景延広に擁立された石重貴に嫌悪されて失脚、契丹との戦端が開かれて後晋軍が敗退すると、和平派の要求で一度は復帰して中書令となるものの、後に讒言によって捕えられた。後晋滅亡時にも契丹との和平工作を秘かに進めたが、滅亡の腹いせのために石重貴の命令で獄中で殺された。
なお、桑維翰が青年時代に鉄で出来た硯が穴が開くまで墨をすって学問を行った末に進士になったという故事（『新五代史』）から『磨穿鉄硯』という言葉が生まれたといわれている。
