Le premier album de Noise Unit, Grinding into Emptiness, est né de la collaboration entre Leeb et Marc Verhaeghen du groupe industriel belge Klinik[1],[3]. Il sort en 1989 chez Wax Trax! Records et Antler-Subwa. L'album Response Frequency, sorti en 1990, inclut Rhys Fulber. Après l'achèvement de l'album, Verhaeghen quitte Noise Unit pour plusieurs années[4] Fulber reste avec le groupe pour les trois albums suivants, y compris l'album techno contemporain Decoder en 1995[5]. Verhaeghen reprend sa collaboration avec Noise Unit pour l'album Drill en 1996, qui comprenait également des membres du groupe industriel allemand Haujobb[6].
Après une pause de huit ans, Leeb s'associe à Chris Peterson, ancien membre de Front Line Assembly, en 2004 pour sortir Voyeur en 2005[7]. Jason Filipchuk et Michael Balch ont également contribué à l'album[8]. L'album se classe à la quatrième place du German Alternative Charts (DAC), et à la 26eplace du DAC Top Albums of 2005[9]. En 2016, le label canadien Artoffact réédite les albums Grinding Into Emptiness, Response Frequency et Drill en vinyle et en CD[2].
En , il est annoncé que Rhys Fulber et Bill Leeb travaillent sur un nouvel album de Noise Unit, le premier depuis 15 ans[10]. Le , le titre de l'album Deviator et la pochette sont révélés[11]. En , Artoffact fixe la date de sortie au de la même année et rend public le deuxième titre de l'album Body Aktiv[12]. La pochette est réalisée par Dave McKean[11]. En , Artoffact programme la date de sortie pour le de la même année et met le deuxième titre de l'album Body Aktiv à la disposition du public via Bandcamp[12]. L'album contient dix titres et comprenait Raymond Watts sur le titre Atrocity Obsession. En , Artoffact publie une vidéo des paroles de ce titre sur sa chaîne YouTube[13].
En , Artoffact annonce la sortie d'un nouvel album de Noise Unit intitulé Cheeba City Blues pour le . L'annonce coïncide avec la sortie du single Alone Again, coécrit par l'ancien membre Jeremy Inkel avant son décès en [14]. Un mois plus tard, le groupe enchaîne avec la sortie du second single Dub it Up[15].