Avant le cinéma, Amjad est acteur de théâtre. Il avait assisté K. Asif dans le film Love and God et avait également interprété un petit rôle, mais le film n'avait pas été terminé et ne devait sortir qu'une décennie plus tard. En 1973, il entame sa carrière cinématographique dans Hindustan Ki Kasam.
En 1975 Salim lui propose le rôle de Gabbar Singh, chef d'une bande de brigands dans le film Sholay (traduit par flammes ou boule de feu). Pour se préparer, Amjad lit Abhishapth Chambal, un ouvrage sur des dacoïts de la vallée de Chambal, écrit par Taroon Kumar Bhaduri (le père de l'actrice Jaya Bhaduri). Avec ce film, Amjad accède au statut de star. Son interprétation du personnage de Gabbar Singh est considérée par beaucoup comme la première figuration du Mal à l'état pur à l'écran dans le cinéma indien ; un personnage entièrement mauvais, sans aucune trace de remords.
Sholay fait partie des plus grands succès cinématographiques en Inde, et des plus distribués. Bien qu'à l'affiche figurent des superstars comme Amitabh Bachchan et Dharmendra, le personnage le plus marquant est celui de Gabbar Singh. Amjad Khan apparaît ensuite dans des publicités vantant les biscuits Brittania en tant que Gabbar Singh : cet emploi d'un bandit pour promouvoir un produit de grande consommation est une première. Devant l'insuccès commercial relatif de la BO de Sholay, les producteurs ont décidé de vendre des cassettes audio de dialogues du film. Cette initiative a payé et explique en partie l'énorme succès de Gabbar Singh et de ses répliques, devenue culte pour une génération d'Indiens.
Après Sholay, Amjad Khan a continué d'interpréter des rôles de bandit dans de nombreux films en hindi, volant la vedette à son prédécesseur Ajit, qui incarnait des patrons criminels plus sophistiqués et plus courtois, le cerveau des braquages de banque, des assassinats et des complots pour prendre le pouvoir. Il a souvent été le méchant face au héros Amitabh Bachchan.
Khan est toutefois un acteur polyvalent, encensé dans des rôles très éloignés de celui du bandit. En 1977, dans Shatranj Ke Khiladi, film salué unanimement par la critique (1977), dirigé par Satyajit Ray, Khan interprète le monarque délaissé et trompé Wajid Ali Shah, dont le royaume, Avadh, est convoité par les colonialistes britanniques de la Compagnie des Indes orientales. Dans le film d'arts et d'essai Utsav en 1984, il incarne Vatsayana, l'auteur du Kama Sutra. Il a aussi joué des personnages comiques dans des films tels que Chameli Ki Shaadi en 1986. En 1991, il a encore joué Gabbar Singh dans Ramgarh Ke Sholay, une parodie du film légendaire, aux côtés d'un sosie d'Amitabh Bachchan.
Khan a reçu de nombreuses fois le Filmfare award pour le meilleur "méchant", ou le meilleur acteur masculin dans un second rôle. Khan a été aussi récompensé par plusieurs distinctions nationales prestigieuses.
En 1976, il réchappe de justesse à un accident mortel sur la route de Bombay-Goa, quand il percute un arbre au volant de sa voiture pour essayer d'éviter un rocher. Les médicaments qui lui sont prescrits entraînent un sérieux problème de poids. Il décède en 1992 d'un arrêt cardiaque à l'âge de 51 ans.
Plusieurs de ses films ne sont sortis qu'après sa mort, jusqu'en 1996.
