1957年1月20日、スターリンの指令に基づき、強制移住させられていたカザフ・ソビエト社会主義共和国で生まれるが、生まれた三日後に一族は故郷であるチェチェンへの帰国が許される。ウルス・マルタンで学校教育を受けた後、16歳からソフホーズで働き始める。ソ連軍での兵役義務を終えた1983年にモギエフ（現ベラルーシ、マヒリョウ市）に設置された交通警察学校を卒業、1984年から治安関係の職務に就いた。
ソ連崩壊後はロシア連邦内に設けられた自治国家チェチェン・イングーシ自治共和国に奉職して、1992年にロシア内務省が設置したロストフ・ナ・ドヌ高級警察学校へ留学する。帰国後に共和国政府から北カフカス交通局の副局長に任命、第一次チェチェン紛争中の1997年に交通局長へ昇格される。第一次チェチェン紛争に関しては一貫して連邦派に属し、チェチェン・イチケリア共和国のジョハル・ドゥダエフ政権と敵対した。1996年のグロズヌイ攻防戦では司令官として優れた活躍を見せ、ロシア軍から勲章を授与されている。休戦に伴いアスラン・マスハドフ司令官が独立派政権を組閣した後も、在外勢力として抵抗を続けた。
第二次チェチェン紛争で元独立派の重鎮であり、宗教問題からマスバドフ大統領と対立したアフマド・カディロフ司令官がロシア軍と結んでグロズヌイを占領すると、カディロフから警察軍少将に任命される。2003年4月にカディロフ政権が成立すると内務大臣を務め、治安組織の再建に尽力した。
2004年5月9日、アフマド・カディロフ大統領が独立派のシャミル・バサエフ司令官に暗殺される。セルゲイ・アブラモフ首相が混乱を収拾する中、ロシア政府の推薦を受けて後任の大統領に選出される。大統領選挙では民衆からの支持を特別に持たないアルハノフに対して、ロシア軍部隊による露骨な協力行動が見られた。名目上、6人の対立候補が立てられたものの、彼らはいずれも当選の意思を持たない「飾り」であった（青年層の支持を受けるラムザン・カディロフ首相は二十代で出馬出来ず、有力候補のマリク・サイドゥラエフ候補は出馬を拒絶された）とも言われている。
カリスマ性は無くとも、連邦政府官僚としての信頼できる経歴を持つアルハノフを、プーチン政権が最初から大統領に付ける気でいたのだと反対派は主張している。選挙は73.67%の得票でアルハノフを大統領に選出した。
大統領としてアルハノフはカディロフ政権時代の諸政策（ロシアとの融和など）を引き継ぎつつ、共和国政府の「イスラム化」を志向した。2006年6月1日に欧州諸国との会議で、彼は共和国がイスラム法（シャリーア）に基づいて統治されるべきだと述べた上で「イスラム法に基づけば多くの問題は起きなかった」と持論を語っている。
アルハノフはカディロフ前大統領の次男であるラムザン・カディロフ首相としばしば対立し、大統領の座を巡って争っていると噂された。2007年2月15日、対立は最終的にアルハノフの辞任に繋がり、ウラジーミル・プーチン大統領はラムザン・カディロフ首相を大統領に推薦すると発表。
;_Flag_of_Kazakhstan_(1991–1992).svg){kind=small}
.svg)
