El inicio de este cuarto se encuentra en el comienzo del total valimiento de Olivares en octubre de 1622, tras la muerte de su tío Baltasar de Zúñiga. Este último tenía un cuarto en el alcázar, en el piso bajo de su crujía este.
En contraposición con el apartamento de su tío, el cuarto de Olivares tenía un carácter más austero, destacándose por su riqueza únicamente la galería.
Según cita Barbeito, en esta galería trabajaba el conde-duque normalmente, como lo demuestra el hecho de que al morir su hija única (julio de 1626) el cardenal Barberini, legado pontificio en Madrid para el bautismo fue a dar el pésame al Conde-Duque, según Cassiano dal Pozzo (miembro del séquito de Barberini):[2]
[El Conde-Duque] se encontraba en una estancia alargada que era más bien sala, al fondo de la cual estaba despachando negocios con el secretario Carnero.
Tras esta muerte, a finales de 1626 el Conde-Duque mandaría comenzar las obras para convertir su aposento retirado (situado en el espacio más al norte, al oeste de su galería) en oratorio.