Il commence la musique à l'âge de 16 ans au sein de The Cortinas, dont le style musical va alors du rhythm and blues au rock 'n' roll avec quelques reprises de précurseurs du punk tels que The New York Dolls et The Stooges.
Fascist Dictator et Defiant Pose, les deux premiers singles des Cortinas, sortent sur Step Forward, le label du manager de Police, Miles Copeland. Mais le groupe se sépare en septembre 1978.
Après un passage en Californie, Sheppard revient en Grande-Bretagne. Lorsque The Clash vire Mick Jones en 1983, Sheppard et Vince White le remplacent et effectuent la tournée à travers les États-Unis et l'Europe lors de l'année 1984. Ils participent à l'enregistrement du dernier album du groupe Cut the Crap. Celui-ci a attiré de nombreuses critiques, en particulier à cause de la production trop prononcée de Bernie Rhodes et l'usage de boites à rythme. This Is England atteint tout de même la 24e position des charts anglais mais le groupe se sépare peu après.
De 1986 à 1989, Sheppard s'associe à Gareth Sager (ancien de The Pop Group et de Rip Rig & Panic) dans Head, mais leurs trois albums ne rencontrent pas de succès. Sheppard travaille ensuite avec Koozie Johns dans Shot et signe avec IRS Records en 1991 avec Miles Copeland pour manager. Cependant, aucun enregistrement du groupe n'est jamais sorti en disque. Sheppard déménage en Australie en 1993 et joue pour Heavy Smoker and the New Egyptian Kings.
Il vit à Perth et se consacre à son nouveau groupe The Domnicks.
