オスマン朝に忠実なイスラム教のイマームの家に生まれる。農業学校を卒業するも農務省への就職が叶わず、奨学金を得てイタリアの軍学校へ進学。共産主義的思想からそこを退学させられてからアルバニアへ戻って士官学校に籍を置くが、スペイン内戦の勃発から国際旅団に加わり共和国側に従軍。内戦が共和国側の敗色濃厚になるとフランスに脱出し、逮捕・投獄され更にイタリアへ移送。そこでイタリア共産党に入党する。
1942年にイタリア統治下のアルバニアに入りアルバニア共産党のパルチザンに加わる。翌年には中央委員候補になり、特に敵対勢力への残忍な態度で知られて突撃師団を指揮するまでになる。
1944年にアルバニアがナチス・ドイツの占領から解放されるとシェフーは参謀本部長に就任、一時期モスクワで教育を受け1947年に内務大臣でチトー主義者だったコチ・ソクセ（英語版）の粛清で当時の首相エンヴェル・ホッジャの右腕となる。これに伴い人民議会副議長となり、翌年にはアルバニア労働党政治局員・副首相に就任。1954年にホッジャの後任として首相になる。
首相としてシェフーはホッジャに次ぐ権力を維持し、アルバニアがソビエト連邦と対立すると同じ反ソ連の立場から中華人民共和国との関係強化に尽力した。これに伴い中国から援助を受ける一方で、中国の国連代表権問題では1971年に提案したアルバニア決議の取りまとめにホッジャと一緒に奔走し中国の国際的立場の回復に一役買った。しかし中国がアメリカに接近して反共的な国々と国交を樹立し始めると、ホッジャは中国に反感を持ち1981年には関係を断絶し、同時に唯一の頼りであった中国の援助も途絶。ホッジャがいわゆるホッジャ主義を唱えルーマニアや北朝鮮などとも対立し始めると、アルバニアの孤立化につながるとシェフーは危惧しホッジャの言動に反感を持つことになったとされている。一方でホッジャもシェフーが自らの地位を脅かしかねないと警戒し、シェフーの息子がアメリカ合衆国で反共運動に関わっていた女性と結婚したこともホッジャの猜疑心を強めることになった。
1981年12月17日、シェフーは不審な死を遂げている。公式には権力闘争での疲れに伴う神経衰弱による拳銃自殺と発表されたが、それに先立ってホッジャがシェフーに引退を促しておりこれを拒否したシェフーが粛清に巻き込まれたと次男のバシキムが証言している[3]。この死の直後に妻子も逮捕されシェフーの遺体も荒れ地に乱雑に埋葬、シェフーはチトー主義者でありCIA・KGB・ユーゴスラビアのスパイで人民の敵として大々的に糾弾されて公式の記録からは抹殺された。
共産主義政権の崩壊で遺族はようやく釈放され、行方不明だった遺骨は死亡から20年程たった2001年に見つかった。
