Atkins s'intéresse à la musique et étudie la batterie dès son enfance[1]. À la fin des années 1970, Atkins est recruté par Public Image Ltd., groupe qu'il abandonne en 1980 pour se focaliser sur son propre projet, Brian Brain. Atkins enregistre et produit pour cette formation, dans laquelle il est batteur et chanteur, durant presque toute la décennie ; Brian Brain se sépare en 1989. C'est cette même année qu'Atkins rejoint Killing Joke, alors épuisé par des problèmes financiers et boudé par les distributeurs.
La collaboration avec Killing Joke ne se passe pas sans heurts. Atkins se fâche avec Jaz Coleman et décide de céder sa place. Il tente à cette occasion de recréer une formation équivalente mais débarrassée des problèmes relationnels qu'engendre la personnalité de Coleman, trop forte à son goût. Atkins a créé Murder, Inc. en 1991 avec le chanteur Chris Connelly : il invite les autres membres de Killing Joke à se joindre à lui au sein de ce groupe, ce qui donne naissance à un maxi et un album en 1992.
En 1990, Martin Atkins fait plusieurs apparitions sur scène avec le groupe de metal industriel Ministry, tournant en duo avec leur batteur habituel, Bill Rieflin. À la suite de cette expérience, Atkins et Rieflin décident de réunir plusieurs de leurs amis musiciens afin de créer un supergroupe expérimental qui compte plusieurs centaines de collaborateurs, Pigface.
Au cours des décennies 1990 et 2000, Martin Atkins collabore également aux travaux de The Love Interest, Nine Inch Nails et Spasm.
L'un de ses derniers projets est The Damage Manual, groupe éphémère qui n'a sorti qu'un album et fait quelques concerts avant que ses membres ne retournent à leurs occupations habituelles. On y retrouve Geordie Walker, guitariste de Killing Joke, ainsi que Jah Wobble, bassiste qui a croisé la route de Martin Atkins lors de leur collaboration commune à Public Image Ltd.
