Es un ejercicio vocal a dueto entre David Gahan y Martin Gore, el primero en la trayectoria de DM, con una letra bobalicona sobre el deber de los niños en la escuela, el respeto a los mayores y a las normas establecidas, sin contener algún tipo de crítica al sistema o a la educación como en obras conceptuales de música, excepto quizás la penúltima frase en la cual menciona que el Chico protagonista de la canción sabe lo que quiere ser, un político; de cualquier modo no concreta realmente un sentido aleccionador o sardónico.
En apariencia es un ejercicio torpe y pretencioso sentado más en la lírica que en la mínima musicalización, sin embargo la letra de Martin Gore por lo menos se planteaba algo más ambiciosa a lo que previamente habían hecho con Vince Clarke y sus líricas desenfadadas.
La casi por completo ausente música no es propiamente electrónica, sino solo un efecto de vacío que le da una cierta cualidad ambiental, aunque evidentemente poco trabajada, con un persistente efecto de percusión apagada que realmente logra darle un sentido de ritmo, un disuelto efecto de aire que más bien sale sobrando, una segunda “percusión” hecha con manos aplaudiendo dobladas varias ocasiones para hacerlas oír numerosas, y un retoque sí sintético al cabo de las estrofas que es su parte más melódica.
Si bien casi todos los temas del álbum A Broken Frame, excepto por la popular See You, han sido denostados por los mismos integrantes, también varios contribuyeron de algún modo a darle forma a la música posterior del grupo. En el caso de Shouldn't Have Done That, su única influencia se encontró en haber sido el primer dueto Gahan/Gore, que tan eficazmente han capitalizado a lo largo de su carrera en, aunque casi siempre a parcialidad pues en muy pocos temas han practicado de nuevo un dueto integral como en Shouldn't Have Done That, a saber en los temas Behind the Wheel de 1987, Nothing's Impossible de 2005 y Little Soul de 2009.
En realidad, su mayor aporte fue haber presentado un lado por completo experimental de DM, arriesgado o solo muy inexperto, pero alejado de los convencionalismos y el efectismo del synth pop y sus melodías artificiales, apoyándose en su letra
En el álbum A Broken Frame, Shouldn't Have Done That aparece continuada después de A Photograph of You e igualmente se continua con The Sun & the Rainfall, las tres por el efecto de vació; tres canciones fundidas en una.
En el estribillo, se oyen las voces de los tres integrantes de DM, tan solo hablando, como mayor curiosidad se escucha además la voz de Daniel Miller como una suerte de maestro mandón, y quien solo llegaría a volver a colaborar vocalmente en el tema de 1986 Black Celebration del álbum homónimo.
