Il est élu représentant d'Hitchin and Harpenden en 1997 à la suite de la création de ce district, et a depuis été réélu sans interruption jusqu'à 2017.
Après la défaite des conservateurs aux élections générales de 1997, il se présente à la succession de John Major à la tête du parti. Il fait alors partie des candidats issus de l'aile droite du mouvement hostile à davantage d'intégration européenne, qui affrontent l'ancien Chancelier de l'Échiquier Kenneth Clarke, favorable à la poursuite des négociations sur une éventuelle intégration du Royaume-Uni à l'union monétaire. Il arrive en quatrième position du premier tour avec 24 voix[1]. Il apporte alors son soutien à la candidature victorieuse de William Hague, le candidat eurosceptique le mieux placé après le premier tour, en vue des tours de scrutin suivant. Hague remporte le scrutin contre Clarke au troisième tour, et il nomme Lilley au poste de Chancelier de l'Échiquier dans son nouveau cabinet fantôme[2],[3].
En , il est promu chef adjoint du Parti conservateur par William Hague[4]. Il est toutefois limogé de ce rôle par Hague en [5].
Il est un partisan de la légalisation de la marijuana.
Il soutient la sortie du Royaume-Uni de l'Union européenne lors du référendum de [6].
Le , quelques jours après la convocation par la Première ministre Theresa May d'élections générales anticipées le , il annonce qu'il ne briguera pas de nouveau mandat de député, mettant fin à 34 ans de carrière parlementaire[7]. Quelques mois après son départ de la Chambre des communes, il rejoint la Chambre des Lords après avoir été recommandé pour une pairie à vie par Theresa May[8].
