山稚之の子として生まれた。父が営陵県令となると、父に従って営陵県に赴き、営陵の王恵に師事した。
孝明帝の初年、元匡が御史中尉となると、山偉はその下で侍御史を兼ねた。後に神武門をつかさどった。山偉の妻の従叔が羽林隊主となったが、殿門で直長を鞭打ったため、山偉はかれを弾劾する奏上をおこなった。国子助教に任じられ、員外郎・廷尉評に転じた。
六鎮の乱や隴西の乱が起こって世情が騒がしくなると、領軍の元叉は代以来の北人を積極的に登用して、かれらの不満を和らげようとした。山偉は上奏文を書いて、元叉の政策を賛美した。安豊王元延明や黄門郎の元順らが山偉を推薦したため、元叉は山偉を尚書僕射の元欽の下に召させて、尚書二千石郎を兼ねさせた。後に山偉は正式に尚書郎となった。起居注の修撰にあたった。尚書僕射の元順が選を兼ねると、山偉は推薦されて諫議大夫となった。
528年（建義元年）、爾朱栄が河陰の変を起こしたが、山偉は禍を免れた。孝荘帝が洛陽の太極殿に入ると、山偉は給事黄門侍郎に任じられた。まもなく著作郎を兼ねた。531年（普泰元年）、前廃帝が即位すると、山偉は著作郎のまま、安東将軍・秘書監となった。
爾朱兆が洛陽に入ったとき、官員たちの逃亡するなか、国史典書の高法顕がひそかに史書を埋めて守ったため、散逸を免れた。山偉はそのことを自分の功績として訴え、賞与を求めた。山偉が爾朱世隆に従うと、東阿県伯に封じられた。532年（太昌元年）、高歓が爾朱氏を破って洛陽を占領すると、山偉は男爵に降格された。まもなく侍中に進んだ。534年（天平元年）、東魏が建てられると、山偉は衛大将軍・中書令・監起居に任じられた。後に本官のまま再び著作郎を兼ねた。在官のまま死去した。驃騎大将軍・開府儀同三司・都督・幽州刺史の位を追贈された。諡は文貞公といった。
長男の山昂が爵位を嗣いだ。