Los primeros compases de la canción surgieron, según relataba Juanito Valderrama, en 1949, en una actuación en Ponferrada, acompañado en la guitarra por su amigo, Niño Ricardo, cuando este le hizo una improvisación que constituiría el estribillo de "El emigrante". Valderrama paró la actuación y le dijo: "No me pierdas esa frase que acabas de hacer". Al acabar el espectáculo, Valderrama escribió unos versos sobre una factura del hotel donde se alojaban: "Adiós mi España querida, dentro de mi alma te llevo metía...".[5]
A lo largo de esa misma gira, de camino a Larache, Valderrama fue escribiendo el resto, recordando su actuación ante exiliados españoles que vivían en Tánger. Ya en Larache, se juntaron en el piano del teatro, Valderrama y Niño Ricardo que fueron componiendo la canción y el maestro Pitto, que era el pianista que acompañaba al espectáculo era el encargado de transcribir a la partitura la composición. Según relato de Valderrama, tuvieron que firmar los tres, aunque Pitto "no había puesto ni una nota" porque tenía que figurar un músico "cualificado" que firmara la partitura.[5]
