Como lo sugiere el nombre, Discography es una colección de todos los sencillos de Pet Shop Boys lanzados hasta ese momento (1991) junto con dos canciones nuevas "DJ Culture" y "Was It Worth It?". Aunque todas las otras canciones en este álbum habían aparecido en alguna forma en álbumes anteriores, sólo seis de las canciones aparecieron en un álbum en sus versiones sencillo.
El álbum contiene la versión del dúo del éxito de U2 "Where the Streets Have No Name", que más tarde en la canción se rompe en el coro de "Can't Take My Eyes Off You" de Frankie Valli.
Alrededor del tiempo del lanzamiento de Discography, los Pet Shop Boys también lanzaron una colección de videos, Videography, que consiste de videos musicales para cada una de las canciones en este álbum en un orden radicalmente diferente y con la canción "Was It Worth It?" siendo reemplazada por "How Can You Expect to Be Taken Seriously?", la cual no está por sí misma en las versiones en audio del álbum, a pesar de ser parte de un lado A doble con "Where the Streets Have No Name (I Can't Take My Eyes Off You)" (la exclusión se debió a las constricciones del tiempo de duración del CD).
En 2003, los Pet Shop Boys lanzaron una actualizada colección de sencillos llamada PopArt, que incluía la versión del video de "Suburbia" y la versión álbum de "Heart" por error pero excluyendo "Was It Worth It?". En adición, se incluían todos los sencillos de Pet Shop Boys lanzados después de 1991 con la excepción de "Absolutely Fabulous" y "How Can You Expect to Be Taken Seriously?".
