Son père, médecin, meurt alors qu'Andrew n'a que 3 ans. Après sa scolarité primaire à Aberdeen, il est envoyé par ses tuteurs à Dundee où il est inscrit au collège (High School). Il est ensuite apprenti chez un pharmacien. De retour à Aberdeen, il commence ses études de médecine dans cette ville et les poursuit à Édimbourg, où ses résultats brillants lui permettent de devenir assistant du docteur John Hughes Bennett au département de pathologie de l'Infirmerie Royale d'Édimbourg (Edinburgh Royal Infirmary) et assistant-démonstrateur d'anatomie de Robert Knox. Mais il se sait atteint d'une tuberculose, en ayant appris les symptômes de son oncle Homer Webb. Ceci met fin à sa carrière universitaire et il rejoint le corps des médecins de la Royal Navy en 1848 dans l'espoir que la vie en mer lui sera bénéfique.
L'année suivante, il est nommé pathologiste au Haslar Hospital où il a comme collègue Thomas Henry Huxley. En 1853, sa candidature est retenue au poste nouvellement créé de conservateur au musée du London Hospital où il manifeste l'intention de consacrer toute son énergie à la pathologie. Cependant, les circonstances l'amèneneront à pratiquer plus activement la médecine. En effet, en 1854, l'année d'obtention de son doctorat à Aberdeen, une place d'assistant au London Hospital devient vacante et il se décide à faire acte de candidature à ce poste. Clark se plaisait à raconter comment sa tuberculose lui avait valu sa nomination : « Ce n'est qu'un pauvre médecin écossais », disait-on, « il ne lui reste que quelques mois à vivre, laissons-lui la place ». Il fut donc nommé et deux ans avant sa mort (survenue 39 ans plus tard) Clark fit une déclaration en public pour faire remarquer qu'il était le seul à être encore en vie parmi les membres du personnel en place au moment de sa sélection.
En 1854, il devient membre du Royal College of Physicians. puis en 1858 fellow (« Compagnon ») de cette institution. Il parcourt ensuite successivement toutes les charges et honneurs qu'offrent le Collège Royal en terminant en 1888 par sa présidence, qu'il conserva jusqu'à sa mort. À partir de son intégration à l'hôpital londonien, sa renommée croît rapidement et il devient un médecin à la mode, ayant une des plus grosses clientèles de Londres. Il compte parmi ses patients plusieurs célébrités de l'époque. Le grand nombre des malades qui passent chaque matin dans son cabinet rend inévitable une certaine routine dans ses conseils et dans ses prescriptions, souvent réduites à des formules très simples. Dans les cas vraiment sérieux toutefois, il n'a pas d'égal par sa compétence et sa prudence dans le diagnostic et l'attention qu'il porte aux détails.
Il est fait baronnet en 1883 en reconnaissance de ses services rendus à la science médicale.
Malgré les exigences de sa clientèle, il trouve le temps d'écrire de nombreux livres de qualité, tous rédigés dans le style précis et raffiné dont il avait coutume de tirer une certaine fierté. Sans doute en grande partie pour des raisons personnelles, les maladies pulmonaires, notamment la fibrose pulmonaire, constituent son thème de prédilection ; mais il s'intéresse aussi à bien d'autres sujets, comme l'insuffisance rénale, l'anémie et la constipation.
Il meurt à Londres des suites d'une attaque cérébrale paralytique.
