Il est le quatrième fils de George Sackville-West (5e comte De La Warr) et Elizabeth Sackville, première baronne Buckhurst, fille cadette et cohéritière de John Sackville (3e duc de Dorset). À la mort de son parent Charles Sackville-Germain (5e duc de Dorset), en 1843, le duché et ses titres subsidiaires s'éteignent. De grandes parties des domaines de Sackville sont transmis à la famille West par l'intermédiaire d'Elizabeth. Les Sackville-West héritent d'une partie des domaines, notamment de Knole House dans le Kent.
Au cours de sa carrière, Sackville-West occupe plusieurs postes importants auprès de la famille royale. En 1876, il est élevé à la pairie sous le nom de baron Sackville, de Knole, dans le comté de Kent. La pairie est créée avec un reste spécial, pour ses frères cadets Lionel et William Edward. Il meurt en 1888, à l'âge de 68 ans, et est remplacé dans la baronnie par son plus jeune frère, Lionel Sackville-West (2e baron Sackville).
