武陵王司馬晞の子として生まれた。太元9年（384年）、新寧王に封じられた。太元12年（387年）、亡父の武陵王の爵位を戻されたため、司馬遵は父の爵位を嗣いで、武陵王となった。散騎常侍・秘書監・太常・中領軍の官位を歴任した。桓玄のために働いて、金紫光禄大夫の位を受けた。元興2年（403年）、桓玄が帝を称すると、司馬遵は彭沢侯に落とされて、領国への赴任を求められた。夜間に船で淮水に入ろうとして難破したため、赴任できなかった。たまたま劉裕らの起兵に遭遇して、武陵王に戻された。元興3年（404年）、建康を掌握した劉裕らは、安帝の密詔を受けたと称して、司馬遵に称制させ、万機を総べさせた。司馬遵は侍中・大将軍の位を加えられ、東宮に入って、制書や令書を出して政権を運営した。義熙元年（405年）、安帝が建康に帰還すると、司馬遵は太保に任じられた。
義熙4年正月庚申（408年3月8日）、薨去。享年は35。子の司馬季度が武陵王の爵位を嗣ぎ、散騎常侍に任じられた。