Con la dominación musulmana de la península ibérica, desde 713 hasta la conquista cristiana por Alfonso VI en 1083, la ciudad de Talavera (Talabayra) llevaría a cabo la construcción del alcázar, así como de los tres recintos amurallados que ha tenido a lo largo de su historia, construidos ambos en el siglo X, y mejorados en los siglos XIII y XIV una vez reconquistada la ciudad. Sufrió los ataques almorávides de 1104 y 1110. Los almohades la sitiaron en 1173, 1177 y 1182.
El alcázar fue construido en el siglo X por Amrùs sobre restos romanos, y reformado posteriormente en el siglo XI. Fue también palacio de doña María de Portugal, que al contraer matrimonio con don Alfonso XI en 1328, recibió del monarca el dominio de la ciudad que desde entonces pasa a denominarse Talavera de la Reina. Es en 1369 cuando Talavera pasará a pertenecer al Arzobispado de Toledo, Enrique II dio Talavera al Arzobispo Gómez Manrique a cambio de la posesión del Alcázar.[2]
Su declive comienza en ese momento que pasó a formar parte del Obispado, si bien algún arzobispo intentó restaurarlo, como Cisneros. Posteriormente el palacio fue abandonado y muchos de sus muros fueron usados como material de construcción. En 1989 se llevaron a cabo una serie de excavaciones en las que se encontraron numerosos objetos romanos, árabes y medievales. Se encontró también la parte superior de los muros.
Los restos del Alcázar de Talavera se encuentran bajo la protección de la Declaración genérica del Decreto de 22 de abril de 1949, y la Ley 16/1985 sobre el Patrimonio Histórico Español.
