Né en 1638 au sein des De Graeff, famille aristocratique d'Amsterdam. Pieter de Graeff est fils de Cornelis de Graeff, maire et régent de la ville d'Amsterdam et membre de la Nederlands Hervormde kerk (« Église Réformée néerlandaise »), et de Catharina Hooft, cousine de Pieter Corneliszoon Hooft.
Pieter de Graeff se maria à sa cousine Jacoba Bicker (1640-1695), fille de Jan Bicker et d'Agneta de Graeff van Polsbroek (1603-1656). Le couple eut trois fils, Cornelis (1671-1719), Johan (1673-1714) et Agneta. Le château de Ilpenstein ainsi qu'une maison, l'actuel Musée des sacs Hendrikje, dans la Herengracht no 573 à Amsterdam constituaient le domaine de la famille de Pieter de Graeff.
De Graeff fut seigneur libre de Zuid-Polsbroek, Purmerland et Ilpendam. Il est diplômé en droit à l'université d'Orléans en 1660. En 1664 de Graeff fut bewindhebber (administrateur) de la Compagnie néerlandaise des Indes orientales. De 1668 à 1672 (rampjaar) de Graeff fut conseiller et juré à Amsterdam. Il était un proche parent, ami et conseiller de Johan de Witt. De Graeff a été l'un des gouverneurs de Guillaume III d'Orange. Au cours de l'année rampjaar 1672, Pieter a perdu, avec son oncle Andries de Graeff, sa fonction politique. Pieter de Graeff était en contact avec Johan de Witt, Christiaan Huygens, Jacob Boreel, Gerard Terborch, Karel Dujardin, Caspar Netscher et Joost van den Vondel.
