Se cree que la primitiva ocupación humana de su sitio se remonta a un asentamiento romano, como parece indicar su antigua toponimia, Valerius.
En la época de la Reconquista cristiana de la península, el asentamiento fue conquistado en 1217 por las fuerzas de D. Afonso II (1211-1223), cuyo dominio habría sido dado a los Caballeros de la Orden de Avis, entonces bajo el mando del Maestro Fernão Anes. Aunque se desconoce la fecha exacta de la fundación del castillo, habrá sido contemporáneo de los castillos de Alandroal y Noudar, también construidos por la Orden en la región. Fue el Comendador de Veiros, en 1299, Martim Fernandes, 6º Maestro de la Orden.
Bajo el reinado de D. Dinis (1279-1325), siendo el 8º Maestro de la Orden, D. Lourenço Afonso, la construcción de la torre del homenaje en la cima de la colina comenzó el 20 de mayo de 1308, siendo Pero Abrolho maestro de obras según dos inscripciones epigráficas en el recinto del monumento.
Bajo el reinado del rey Fernando, nació aquí D. Afonso en 1377 o 1380, 8º Conde de Barcelos y 1º Duque de Braganza. El iniciador de la poderosa Casa de Braganza fue el hijo ilegítimo del Maestro de Avis e Inés Pires Esteves, que a su vez era la hija de Pêro Esteves, conocido como el Barbadão. Este apodo provenía del hecho de que, consciente de la relación entre su hija y el entonces Maestro de Avis, había superado tal disgusto que, en señal de protesta, no quiso volver a verla, habiendo jurado, y cumplido, que nunca más se afeitaría. La tumba de este patriarca está en la Iglesia de Nuestra Señora de Mileu, en Veiros.
Durante el reinado de este soberano, la ciudad y su castillo fueron atacados por fuerzas de Castilla (1381).
El terremoto de 1531 causó considerables daños al castillo, que fue reconstruido durante el reinado de D. João III (1521-1557).
En la época de la Guerra de Restauración, la ciudad y su antiguo castillo medieval fueron atacados por las tropas del rey Juan de Austria (1662), lo que provocó la explosión de la torre del homenaje, utilizada entonces como polvorín. Poco después, en 1665, fue ocupada de nuevo, ahora por tropas bajo el mando del Marqués de Caracina. El Consejo de Guerra del rey Alfonso VI (1656-1667) le ordenó reforzar las defensas, y las almenas medievales fueron sustituidas por un nuevo parapeto.
Veiros fue la sede del Consejo hasta 1855, cuando fue abolido, siendo anexado en 1895 al de Estremoz.
El castillo fue objeto de una restauración general por parte del poder público en 1939. Está clasificada como «Propiedad de Interés Público» por Decreto publicado el 18 de julio de 1957.
Más recientemente, de 1998 a 2000, el Ayuntamiento de Estremoz intervino de nuevo con miras a restaurarlo en el marco del «Plan de Intervención Mundial para el Centro Rural de Veiros».
El castillo es de propiedad privada y puede ser visitado diariamente. La llave está en manos del Consejo Parroquial de Veiros.
