En la construcción del castillo participó activamente Rospigliosi, quien introdujo mobiliario traído de Europa y de talleres de Lima. El castillo fue utilizado por la familia Rospigliosi, hasta que el hijo de Carlos Rospigliosi, Carlos Augusto Rospigliosi Vigil, perdió el castillo porque fue expropiado por el Estado por negociaciones de su tío el médico Augusto Pérez Araníbar. Desde 1949 fue otorgado a la Fuerza Aérea del Perú, como sede inicial de la Academia de Guerra Aérea, luego de la Escuela Superior de Guerra Aérea y actualmente es sede del Museo Aeronáutico del Perú desde el 23 de mayo de 2014, donde se recopilan, exhiben, preservan las reliquias, réplicas, fotografías, documentos y materiales que fomenten la Historia Aeronáutica Nacional y Mundial para conservar el Patrimonio Histórico de la Aeronáutica del Perú.