La torre original, de la que sólo quedan los cimientos, puede datarse en los siglos XVI-XVII, debió constituir el elemento de vigilancia y defensa de la casa agrícola y la zona rural donde se ubica. Al conjunto, se añadieron diversas casas rurales, formando un pequeño caserío.[3]
La Torre del Virrey tuvo como primer habitante a Juan Bautista de Baba, tesorero general de la Santa Cruz de Valencia y su reino. La familia Baba vivió en el edificio hasta finales del siglo XVIII. En ese momento cayó en manos de Vicente Tamarit Pastor y su esposa, la II Marquesa de San Joaquín Pastor.
La finca, incluyendo la torre actual, data de la primera mitad del siglo XIX, cuando la adquiere en propiedad don Félix María Calleja del Rey, Conde de Calderón y Virrey de México para fijar su residencia estival, quien la reconstruye totalmente, combinando los estilos gótico y clásico según el gusto de la época. Por aquel entonces ya se conoce a este imponente edificio como la Torre del Virrey, nombre que ha perdurado hasta nuestros días.[4]
Cuando el Virrey y su esposa murieron, estas propiedades pasaron a manos de su hija y su marido Don José Mayans Mayans V de Trigona. Sus descendientes fueron heredando el edificio y alquilando las viviendas y tierras que estaban próximas a la finca. En 1954, el palacio fue comprado por José Alegre, pero en 1985 fue adquirida por el Ayuntamiento de La Eliana.
Durante un largo periodo este edificio fue el núcleo principal de los habitantes de la zona. Muchas familias se mudaron a este territorio donde se construyeron casas anexas al recinto. Estas familias trabajaron para los campos de los marqueses. Tras la venta de las tierras, la mayoría de los trabajadores siguieron viviendo ya que era la vida que conocían y estaban acostumbrados a ese estilo de vida. Respecto a las viviendas, estas casas estaban juntas como una especie de residencia, donde los vecinos se podían comunicar perfectamente desde las ventanas.
Entre 1960-1970 el edificio fue saqueado y destruido totalmente. Por otro lado, la torre tuvo un gran daño debido al impacto de un rayo. Estos sucesos provocaron que los habitantes de las casas anexas se mudaron al núcleo del pueblo, dejando abandonada la finca.
La Torre del Virrey a finales del siglo XX se restauró gracias a los alumnos de la Escuela taller del consistorio. Actualmente es un espacio sociocultural con la que cuenta con la Biblioteca León Esteban. Esta biblioteca recoge un total de 8000 volúmenes de pedagogía y didáctica, donados por el catedrático de la Universitat de València León Esteban. Por otro lado, se ha restaurado la capilla para poder realizar eventos como bodas. El patio de las Caballerías se ha rehabilitado para poder realizar actos culturales y entrega de premios. Desde 2004, el conjunto monumental está gestionado por el concejal de Cultura José Lorente.[5]