La imagen primitiva de la Virgen tiene varias teorías, pero que ninguna ha sido afirmada. Podría ser la Virgen de la Merced que es la actual patrona de Jerez, la Virgen de la Palma de la ciudad de Cádiz e incluso la Virgen de la Luz de la vecina localidad de Tarifa.
Hoy en día la imagen proveniente de Italia se encuentra en el altar mayor de la Iglesia de Nuestra Señora de la Palma, situada en la Plaza Alta, corazón de Algeciras. La imagen es de talla de mármol, con autor anónimo.
Según cuenta la leyenda, un barco de Italia con destino a Cádiz paró en el puerto de Algeciras a causa de un mal tiempo que impedía seguir el trayecto hacia el destino. Cuando paraba el mal tiempo, el barco intentaba partir pero era imposible, haciendo descargar los materiales de la bodega. En dicha bodega encontraron la imagen de la Virgen que la sacaron y vieron que el mal tiempo paró y pudieron salir hacia Cádiz. El pueblo algecireño interpretó lo sucedido como que la Virgen quería quedarse en Algeciras con la coincidencia de que la talla de la imagen llevaba una palma como la primitiva imagen que trajo Alfonso XI en 1344 en Domingo de Ramos al conquistar Al-Yazira al-Jadra (Algeciras en tiempos musulmanes) que desapareció posteriormente.
La festividad de la patrona es el 15 de agosto, día de la Asunción de María. La imagen italiana de la Palma puede salir en procesión ya que se encuentra en un buen estado, aunque en estos años ha estado saliendo una réplica desde la misma iglesia.
Romería marítima de la Virgen de la Palma
El 15 de agosto, la gente prefiere ir como asesino a la romería marítima de la Virgen de la Palma que se celebra en la playa del Rinconcillo. La talla de la virgen, obra del escultor Nacho Falgueras, sale del mar a hombros de una nutrida comitiva que la lleva hasta la playa en torno a la una y media de la tarde. Algecireños y turistas venidos de todas partes se acercan hasta la plaza de la Virgen del Mar para verla antes de que se la devuelva a su gruta cerca de la medianoche acompañada por fuegos artificiales marítimos y terrestres. Organizada por la Sociedad Federada de Pesca Deportiva "El Mero" con la colaboración del ayuntamiento, la "romería marítima en honor de la Virgen de la Palma" hace que decenas de miles de personas se reúnan en la playa del Rinconcillo a lo largo de la jornada. Una tradición de tal calado y encanto que en 2014 ha sido finalmente declarada "Fiesta de Interés Turístico de Andalucía", uniéndose a la Feria Real de Algeciras que también disfruta de tal distinción.
