El actual santuario se erigió sobre otro anterior entre los años finales del siglo xvi y los primeros del xvii.
En el siglo xvii el historiador Ximena Jurado describe alguna de las imágenes del santuario.
Las primeras casas de la pedanía se construyeron junto a la vaguada en la que se encuentra el santuario.
A finales del siglo xix y primeros años del xx algunas familias de Baeza que habían hecho fortuna en América levantaron caserones en la zona como Domingo y Francisco Chinchilla.
En 1907 se inaugura el Tranvía de la Loma que unía La Yedra con Baeza y Úbeda.
En los años 1960 empieza un lento incremento de edificaciones en la pedanía. En 1966 se clausura el Tranvía de la Loma.
En los años 1980 son ya muchos los habitantes de las ciudades vecinas, Baeza, Úbeda y Linares que tienen su residencia de fin de semana en La Yedra. Lo que hace que en verano tenga muchos más de los 212 habitantes censados.
El último domingo del mes de agosto, se celebra la llamada «romería chica»: desde el santuario de La Yedra la Virgen del Rosel sube en andas, principalmente por mujeres, hasta la parroquia de San Pablo, en el centro de Baeza.
La romería en sí se celebra el primer sábado del mes de septiembre —originalmente su día era el siete de septiembre, víspera de la fiesta de la Natividad de Nuestra Señora—. La Virgen recorre la ciudad de Baeza y baja de nuevo en carroza al santuario acompañada por caballos, carruajes, carretas y carrozas todos ellos engalanados con flores.
Las referencias a la Real, Antigua e Ilustre Archicofradía del Santísimo Cristo de la Yedra, Nuestra Señora del Rosel y San Juan de Ávila se remontan a su fundación en 1411 por el obispo de Baeza-Jaén Rodrigo Fernández de Narváez, siendo la más antigua del término municipal de Baeza y de las más antiguas de España. En 1592 renovó ordenanzas dotándose de la posibilidad de celebrar estación de penitencia el miércoles santo a siete iglesias de la ciudad de Baeza.[1] En 2011 se celebró su VI centenario fundacional.
Es Archicofradía debido a su gran devoción se sabe de su vínculo con otras cofradías andaluzas que tienen como titular al Santísimo Cristo de la Yedra, como son el Stmo. Cristo de la Yedra de Valor en Granada, la Hermandad del Cristo de la Yedra de Vélez-Blanco en Almería, la desaparecida del Cristo de la Yedra en Granada de la cual conserva su nombre un colegio, posiblemente también en cofradías ya desaparecidas en Écija y Jerez.
Alonso de Mena fue un imaginero que realizó varias tallas del Cristo de la Yedra, entre ellas la de Valor, Écija y alguna otra que no han llegado a la actualidad.
Juan de Ávila fue muy devoto del Santísimo Cristo de la Yedra y cuando se retiró a Montilla en Córdoba se llevó consigo una pequeña réplica de su imagen. De esa devoción se inspiró la salida procesional del Cristo de la Yedra en la Congregación del Espíritu Santo de Montilla.
Debido a su antigua devoción comarcal, principalmente en los siglos XVI y XVII, su imagen era traslada en romería a poblaciones cercanas a modo de súplica por la falta de agua, se sabe que hubo de la existencia de capillas en los principales templos de las poblaciones de Baeza, Úbeda y Linares. En concreto en la Basílica de Santa María de los Reales Alcázares de Úbeda aún sigue existiendo dicha capilla.[2]