Comme le reste du quadrilatère, le bâtiment de la bibliothèque a été bâti selon les plans d'Henri Labrouste en 1859-1860, en pleins travaux haussmanniens du quartier de l'Opéra. Après la mort de Labrouste en 1875, les travaux furent repris par son successeur Jean-Louis Pascal. S'élevant sur trois étages et dotée d'une rotonde à l'origine destinée à accueillir le coeur de Voltaire dans la statue de ce dernier réalisée par Houdon, elle est immédiatement voisine de la salle Labrouste de la Bibliothèque nationale de France, siège de la bibliothèque de l'Institut national d'histoire de l'art. La restauration du bâtiment a été confiée à l'agence d'architectes Bruno Gaudin, également lauréate du concours organisé par le musée Marmottan Monet.
La bibliothèque s'élève sur trois étages et compte un total de 60 places de travail. Les deux derniers étages forment une longue galerie entresolée par une coursive métallique, laquelle forme une mezzanine accessible par trois escaliers et l'ascenseur de service de la Bibliothèque nationale de France qui dessert tous les étages.
La rotonde, qui a porté plusieurs noms au fil du temps (rotonde Voltaire, rotonde des donateurs, rotonde Henri-Jean Martin), est décorée d'un plafond peint par Pierre-Victor Galland représentant un ciel strié de quelques nuages. Cette sobriété du sujet devait, dans le même esprit que les lunettes latérales de la salle Labrouste, permettre aux lecteurs de ne pas se laisser aller à leurs pensées en se distrayant du décor. Les murs sont ornés d'un motif d'hexagones « en ruche » dorés sur un fond « rose Labrouste » typique de l'architecte.
La salle de lecture avant le déménagement de 2016.
Rotonde d'accueil.
Banque de prêt au rez-de-chaussée.
Rayonnages du 2e étage.
Escalier menant aux coursives métalliques du 3e étage.
Rotonde
Henri-Jean Martin au 2e étage.
Vue de la rotonde depuis l'Ouest.
La rotonde au début du XXe siècle : salle des médailles de la BnF.
Vue de la galerie principale depuis la coursive du 3e étage.
Ouvrage réservés et grands formats au rez-de-chaussée.