景定元年（1260年）以後、モンゴル帝国（後の元）の南下が始まり、淮南を守っていた夏貴はモンゴル軍の攻勢の前にたびたび苦戦を強いられた。しかし敗れたとは言え、郭侃・バヤンといったモンゴル側の名将をたびたび危機に陥れるなどして、武名は広く知られるようになった。
至元元年（1264年）には四川安撫制置使・知重慶府・四川総領・夔路転運使に任命されて四川方面に赴任し、大軍で以てモンゴル側の前線基地である虎嘯山を包囲した。しかし、虎嘯山を守る張庭瑞は将兵をよく統御して数ヶ月にわたり籠城を続け、援軍として到着した焦徳裕らによって夏貴は敗れてしまった（虎嘯山の戦い）。
呂文煥が守る襄陽への援軍として派遣されるが、中央では権力者の賈似道の妨害を受けた上に、モンゴル軍によって水軍が壊滅させられたこともあって、十分な目的を達することが出来なかった。徳祐元年（1275年）、賈似道による元討伐軍に参加するが、元軍の前に蕪湖の戦いで大敗してしまい、都の臨安への道を元軍により絶たれたために、淮西に逃れて徹底抗戦をする。
しかし、徳祐2年（1276年）に臨安が陥落して恭帝が降伏したと知ると、恭帝の身の上を案じていた夏貴はバヤンの説得を受けて元軍に降伏した。
降伏後は元の官職を授けられ、弘安の役の蛮子軍（降伏した南宋の軍勢）司令官として任命されるなど重用されたようであるが、出兵前に心ここに在らずの状態で、失意のうちに病死した。人々は、「なぜ、（彼のような忠臣が）79歳で無くして83歳で逝ってしまったのか（降伏した時の年齢が79歳であった）」とその死を惜しんだと言う。