La chanson semble être une biographie lyrique de Rudolf Hess, Nazi et confident d'Hitler, qui, déçu par le régime de Hitler, fuira plus tard vers l'Écosse pour tenter d'établir la paix entre l'Axe et les Alliés.
Warsaw commence avec les paroles "3 5 0 1 2 5 Go!". "350125" est le numéro de matricule donné à Hess après qu'il a été capturé, à cause d'un vol à Eaglesham, en Écosse. Le premier couplet décrit ensuite l'implication d'Hess, avec Adolf Hitler, dans le Putsch de la Brasserie et l'engouement pour le parti Nazi. Le second couplet décrit sa désillusion et l'éloignement du cercle de confiance d'Hitler. Le dernier couplet relate lui, ses derniers jours en prison.
Enregistrée pour la première fois en mai 1978 aux Arrow Studios, situés à Manchester[1], Warsaw, qui fut également l'un des premiers noms du groupe, devait paraître sur l'album du même nom. Mais l'album fut mis au rebut et l'enregistrement de la chanson attendra seize ans avant de pouvoir sortir sur la compilation Warsaw, en 1994.
Toujours en 1978, appelé dorénavant Joy Division, le groupe ré-enregistre le titre pour l'EP An Ideal for Living, paru en juin 1978.
Tout comme l'Ep dont il est extrait, la chanson fait scandale, notamment à cause des nombreuses références à la vie de Rudolf Hess, ce qui vaut à la formation d'être soupçonnée de sympathiser avec le néo-nazisme. Mais Joy Division se defend au contraire de dénoncer le danger de l'oubli, les atrocités, viols et exterminations commis par le régime nazi, s'inscrivant là dans une démarche typiquement "punk", faisant taire leurs détracteurs.
