El palacio fue mandado construir por el rey consorte Francisco de Asís de Borbón, marido de Isabel II, en 1860 para su primo el príncipe Adalberto de Baviera. Por eso también ha recibido el nombre de "Palacio Baviera". El encargo lo recibió el arquitecto palatino José Segundo de Lema, que diseñó un proyecto de pintoresco estilo que podría encuadrarse dentro del llamado “racionalismo neogótico” propiciado por el arquitecto francés Viollet-le-Duc, caracterizado por mostrar los materiales en su aspecto natural para expresar con sinceridad su finalidad constructiva. La fachada es de ladrillo de Valladolid y piedra de Colmenar.
Al ser destronada Isabel II en 1868 y exiliada la familia real, nunca pudo servir de residencia al príncipe de Baviera. El palacio pasó entonces a manos de don Manuel Silvela, ministro de la Corona, permaneciendo largos años como propiedad de esta familia que le ha dado el nombre que ha llegado hasta nuestros días.
Durante la Guerra Civil, el palacete es ocupado por las checas. En ese periodo, desaparece una importante biblioteca y pinacoteca, así como objetos y muebles de gran valor. Terminada la guerra, se convierte en la residencia del general que manda los Regimientos de Almansa y Pavía, permaneciendo así hasta el año 1962, en que el palacio está prácticamente en ruinas. En 1966 sufre un incendio, quemándose sus artísticos artesonados, y queda totalmente en ruinas. A principios de la década de los años 80 se inicia su restauración por D. José Pérez Mardones con fondos propios.
Se restaura a semejanza del antiguo palacio antes de su incendio.
Actualmente sigue en propiedad de la familia Mardones.
