この図書館の前身は、大変な愛書家であった17世紀の枢機卿マザランの個人図書館である。最初の図書館は彼の司書係であったガブリエル・ノーデによって設立されたが、フロンドの乱の最中にマザランがパリから逃亡した際に散逸してしまった。
その後、ガブリエル・ノーデの後を継いだフランソワ・ド・ラ・ポトリ（François de La Poterie）の助力で、最初の図書館の残っていた蔵書を手がかりとして、新しい図書館を設立した。マザランは、遺言で、図書館を1661年に設立されていたCollège des Quatre-Nationsに遺贈することを表明した。
公衆には1643年に公開されており、17世紀末からはコレージュの建造物群の東翼を占めていた。その建物群は、1805年にはフランス学士院の宮殿になった。
フランス革命期には60000巻を超える文献を保護した。公立図書館となった後に、貴族や修道院などの膨大な蔵書を受け入れた。
インキュナブラのコレクションの中には、「マザラン聖書」とも呼ばれているグーテンベルク聖書が含まれている。
