Le , il épouse Mary Wynyard (décédée en 1784). Ils ont une fille, Georgiana, et trois fils, William (1757-1783), John (1758-1795) et Frederick (1767-1852). En 1761, le père de West est créé comte De La Warr et vicomte Cantelupe, ce qui permet à West d'utiliser ce Titre de courtoisie.
De 1761 à 1766, il est vice-Chambellan auprès de la reine Charlotte. Héritant des titres de son père en 1766, il est alors maître du cheval de la reine de 1766 à 1768 et son Lord chambellan de 1768 à 1777.
Lord De La Warr décède à Audley Square, Londres, le et est enterré à St. Margaret's, Westminster le de la même année. Ses titres sont transmis à son fils aîné, William.
