生没年は未詳であるが、父で後代に竹林の七賢に数えられる山濤が河内郡懐県（現在の中国河南省）の人であり、山簡はその地で育った。しかし30歳近くまで父に認知されないことを嘆いた。
やがて嵆紹・劉謨・楊準と同等の名声を得た。西晋に仕え、太子舎人を皮切りに青州刺史・侍中・吏部尚書・雍州刺史などを歴任。
永嘉3年（309年）に襄陽に赴き征南将軍・都督荊湘交広四州諸軍事・仮節に任命された。既に永嘉の乱で天下は乱れていたが、山簡は酒浸りの日々を送っていた。在地豪族の習氏はよい園池を持っていたので、山簡はいつも酒を持参で酒盛りし、池を「高陽池」と名付けた。また、後に「詩仙」と呼ばれる李白が著した「秋穂歌」には、
酔うて上る 山公の馬
との記述が見られ、帽子を後ろ向きに被り、馬に後ろ向きで乗馬するといった奇行を度々犯して、当時襄陽で流行った童謡に歌われたといわれている。
前趙の劉聡が洛陽に侵攻すると、督護の王万を援軍に派遣した。しかし、宛を占拠した流民の王如に阻まれた。洛陽が前趙によって陥落すると、山簡は賊の厳嶷に脅かされ、襄陽から夏口に拠点を移した。
華軼が琅邪王・司馬睿（のちの東晋の元帝）と対立し、司馬睿が華軼討伐の兵を起こすと、山簡に討伐に加わるよう勧める者がいた。山簡は、彦夏（華軼）は旧友であるとして、討伐に加わらなかった。
没年は不詳だが、60歳で死去し、東晋より征南大将軍・儀同三司を追贈された。