En tiempos de la ocupación romana, el territorio de Ribarroja ya era usado intensamente para la agricultura, de forma que el promontorio sobre la confluencia del barranco de los Moros y el río Turia ofrecía la posibilidad de controlar un extenso terreno cultivado, situado entre las dos ciudades más importantes en aquel momento en el bajo valle del Turia, Edeta y Valentia. Es por este motivo que ya en esa época se desarrolló un pequeño enclave amurallado a ambos lados de lo que a inicios del siglo XXI es la calle de la Cisterna.[1]
Los visigodos continuaron la explotación agrícola de la zona, como puede verse en el Pla de Nadal, pero estas explotaciones desaparecerían en el siglo VIII con la llegada de los musulmanes. Tras esta, desapareció la aristocracia visigoda y las explotaciones agrícolas pasaron a ser pequeñas villas o alquerías. Al tiempo, el antiguo asentamiento militar romano fue transformado en un poblamiento rural que, merced a su singular emplazamiento, dominaba la amplia zona agrícola junto al Turia. La enorme inestabilidad política de este periodo hizo necesario el mantenimiento de sus defensas. Para ello se reedificaron y ampliaron las murallas romanas y se construyó en un extremo del recinto, aprovechando para ello restos de basamentos romanos, el castillo sería en adelante la residencia del representante de las autoridades que se encargarían, entre otras cosas, del cobro de los impuestos. El asentamiento se consolidó con la construcción de una pequeña mezquita y de un cementerio extramuros.[1]
Tras la rendición de Ribarroja a Jaime I en 1238, ésta pasó a formar parte del señorío territorial de su hijo Pedro Fernández de Azagra quien inmediatamente designó sus representantes, agentes militares y fiscales que quedaron al frente de la explotación de sus tierras, manteniendo el orden y recaudando impuestos. Como la población creció poco, el recinto urbano pudo mantenerse en torno a la actual calle de la Cisterna, con la mezquita en un extremo y el antiguo castillo, que pasaba a ser residencia del representante del señor, en el otro. Tras la Guerra de la Unión de 1348 entre los unionistas valencianos y los realistas, el nuevo señor de la villa Ramón de Riusech y Moraida, decidió la ampliación y consolidación del recinto amurallado, aumentando su capacidad defensiva. Durante los siglos XIV y XV comienza a consolidarse la nueva trama urbana con la construcción de viviendas en las inmediaciones del viejo núcleo, calles de la Cisterna, Reloj Viejo y Horno Viejo, permaneciendo la mezquita en su ubicación original y eliminándose un lienzo de muralla con lo que volcaba su fachada a la nueva plaza así conseguida.[1]
Como la población de Ribarroja era morisca, la expulsión de este grupo en 1609 produjo un enorme decaimiento demográfico y económico, con lo que el castillo perdió su relevacia,[1] si bien siguió siendo sede de la baronía hasta su supresión en 1811.[4]