アブドゥッラフマーンは、叔父シール・アリー・ハーンや一族同士の勢力争いで、父アフザルを助けたが敗れ、亡命した（1870年 - 1879年）。トルキスタン総督府の庇護の下でタシケントに居住していたが、第二次アフガン戦争の混乱の最中にシール・アリーが亡くなり、その後継者ムハンマド・ヤアクーブ・ハーンも王位を棄ててインドに亡命したことから1880年に帰国した。
当初はヘラート太守アイユーブ・ハーンとともに反英勢力の急先鋒と目されていたが、イギリスは予想を超えて膨れ上がる戦費の負担と戦争を主導した保守党が選挙で大敗したことから、政権を早々に委譲してアフガニスタンから撤退する方向に動き始めていたため、アブドゥッラフマーンは1879年に、ヤアクーブ・ハーンとの間で交わされたガンダマク条約の受け入れなどを条件に、イギリスからアフガニスタン国王（アミール）となることを承認された。
しかし、これを認めないアイユーブ・ハーンが傀儡政権の打倒を掲げて挙兵したため、駐留イギリス軍を利用してこれに対抗した。アイユーブ・ハーンはマイワンドの戦いではイギリス軍に勝利するが、結局カンダハルの戦いに敗れ、ペルシャへと逃亡することになった。
1881年イギリス軍が撤退して政権を委譲されると、外交権をイギリスに制限されていたこともあり、内政を重視して従来よりもさらに中央集権化に努め、アフガニスタンの封建的割拠状態の除去と経済発展を促進した。しかし、アブドゥッラフマーンの急速な近代化政策への抵抗も強く、古くから慣習により税金を納めることで一定の自治を認められていた地域に対しても一切の妥協を許さなかったため、新政権の支持者たちの中からも反対があり、さらに国内の政情不安を察して再度政権打倒を目論むアイユーブ・ハーンが支持者の多いヘラートに戻ってきた。
これに対してアブドゥッラフマーンは、先手を打つ形でヘラートを攻略してアイユーブ・ハーンを再びペルシャへ追い払い、また国内の反対派にも容赦ない弾圧を加え、当時アフガニスタン国内にいたハザーラ人の約6割が奴隷として売られるか、インドやペルシャへの亡命を余儀なくされるほどで、その徹底振りは“鉄のアミール”と呼ばれる所以となった。その独裁的な傾向のある一方、アブドゥッラフマーンは当時のアフガニスタンの王族の中では開明的な方で、ドースト・ムハンマド・ハーンと並び彼の治世で断行された諸政策が、後のアフガニスタンの礎となったことも事実である。
