尚書左丞の杜錫の子として生まれた。穏健な性格で、姿かたちが美しく、江南地方で有名であった。王羲之は杜乂に会って観察すると、「膚（はだ）は凝脂のごとく、眼は点漆のようで、これ神仙の人なり」と評した。桓彝はまた「衛玠は神（精神）が清く、杜乂は形（姿かたち）が清し」と評した。当陽侯の封を嗣ぎ、公府の掾として召されて、丹陽丞となった。若くして死去した。咸康初年、金紫光禄大夫の位を追贈された。諡は穆といった。あるとき司徒の蔡謨は朝廷で「諸君らが杜乂に会っていないのが残念だ」とこぼした。
杜乂には男子がなく、早逝すると、妻の裴氏が娘の杜陵を養育した。後に裴氏は高安郷君に封じられ、邑500戸を与えられた。孝武帝のとき、広徳県君に進められた。裴氏は年をとると、人々に「杜姥」と呼ばれた。