Formé au Middle Temple en 1679, il entre à la Chambre des communes en 1685 pour Boston, aux côtés de son frère, Lord Willoughby de Eresby. Il vote généralement avec les conservateurs. Le , il devient cornette à la troupe de cavaliers indépendante de Lord Willoughby, levée pour réprimer la rébellion de Monmouth[1]. En 1689, il est battu aux élections et William Yorke, un Whig, est élu aux côtés de Lord Willoughby. En 1690, lorsque Lord Willoughby est appelé à la Chambre des lords par décret d'accélération, Peregrine est réélu à l'élection partielle qui s'ensuit. Cependant, il manifeste une inclination vers les whigs et sollicite le beau-frère de son demi-oncle, Thomas Wharton (1er marquis de Wharton), pour rallier les non-conformistes en son nom.
À la mort de son frère cadet, Norris, en 1691, il fait appel au roi, par l’intermédiaire de son oncle, Thomas Osborne (1er duc de Leeds), pour obtenir la commission de Norris comme guidon et commandant de la 2e troupe de gardes à cheval. Peregrine n'a pas obtenu la commission de son frère, mais est récompensé par une nomination à la Cour en 1692 en tant que vice-chambellan de la reine Mary, après la destitution de John Grubham Howe. Malgré cela, il s'oppose régulièrement à l'administration au Parlement.
Il est nommé vice-chambellan de la Maison en 1694, peut-être pour encourager sa loyauté envers la Cour. Au cours des années suivantes, il continue à se déplacer lentement vers les Whigs et devient conseiller privé en 1695. L'exécution de John Fenwick (3e baronnet) en 1697 soumet Bertie à une grave pression politique. La plupart des membres de la famille Bertie se sont opposés au candidat. Bien que le rôle joué par Peregrine ne soit pas clair, sa conduite est suffisamment tiède pour mériter le mécontentement du roi Guillaume III. Son poste de vice-chambellan est sauvé grâce à l'intercession de Robert Spencer (2e comte de Sunderland), le chambellan, mais l'incident semble l'avoir poussé à achever sa transition de conservateur à whig.
Il ne se représente pas à Boston en 1698, peut-être en partie à cause des tensions avec son père, qui reste conservateur. Cependant, après la mort de son père, il est réélu au Parlement lors des élections de Élections générales anglaises de décembre 1701 avec le soutien de son frère, maintenant comte de Lindsey, qui reste cependant un conservateur.
