Osten-Sacken nació en Reval, en la presente Estonia, en el seno de la familia del Barón Wilhelm-Ferdinand von der Osten-Sacken, quien antes de su muerte en 1754, fue capitán-adjunto del Conde Burkhard Christoph von Münnich. El Barón Osten-Sacken tenía solo dos años cuando murió su padre y pasó su infancia casi en la pobreza. Entró en el regimiento de mosqueteros Kaporsky como subalférez el 18 de octubre de 1766.
En 1769, durante la guerra ruso-turca (1768-1774), participó en el bloqueo de Jotín y en otros compromisos. Por su valor fue promovido en septiembre del mismo año a alférez y en 1770 a teniente-segundo. Desde 1770 hasta 1773 sirvió en el regimiento de mosqueteros Nasheburgsky a las órdenes de Alexander Suvorov y combatió contra la Confederación polaca.
En 1786 se convirtió en teniente coronel y fue seleccionado para el regimiento de granaderos Moskowsky, sirviendo ahí hasta el 19 de julio de 1789. Después fue asignado al regimiento de mosqueteros Rostovsky y combatió en la guerra ruso-turca (1787-1792). Por su contribución en las batallas del río Prut y por la toma de Focşani se le concedió la Orden de San Vladimiro de cuarta clase con cinta. Después se distinguió en Izmail y fue elogiado por Suvorov como "uno de los que más contribuyeron por su coraje y discreción para alcanzar la completa victoria sobre el enemigo".
El 10 de agosto de 1792 fue promovido a coronel y desde 1793 sirvió en el regimiento de mosqueteros Chernigovsky en Polonia. Por su participación en una escaramuza cerca de Vilnius se le concedió la espada dorada con la inscripación "por su valor". El 28 de septiembre de 1797 se convirtió en Jefe del regimiento de granaderos de Yekaterinoslav con el rango de mayor general y desde el 11 de julio de 1799 con el rango de teniente-general. Después de la Segunda Batalla de Zürich fue hecho prisionero e internado en Nancy hasta 1801. A su retorno a Rusia, comandó un cuerpo de reserva estacionado en las Gobernaciones de Grodno y Vladímir.
Como resultado de sus acciones durante las batallas de Pułtusk y Eylau, el Barón von Osten-Sacken recibió la Orden de San Vladimiro de segunda clase y el nombramiento de caballero de la Orden del Águila Negra. Poco después, fue procesado en nombre del Conde Levin August von Bennigsen. La enemistad de este último le obligó a renunciar y pasó cinco años en San Petersburgo.
Cuando se produjo la invasión de Rusia por Napoleón, Osten-Sacken volvió al servicio militar a la cabeza de un cuerpo de reserva, con base en Volinia. Se le dio la tarea de defender la frontera sur del Imperio contra la posible invasión de ejércitos sajones y austríacos. En la batalla cerca de Volkovysk derrotó una unidad francesa a las órdenes del General Renier. Después de derrotar a Renier, Osten-Sacken cruzó la frontera e invadió el Ducado de Varsovia y uniendo sus fuerzas con las del Conde Mijaíl Milorádovich, tomó Varsovia. Después con suceso operó contra el Príncipe Józef Poniatowski. Y por su brillante conquista de Polonia fue nombrado caballero de la Orden de San Alejandro Nevski.
Durante el resto de las guerras napoleónicas participó en las campañas del Ejército de Silesia a las órdenes de Blücher y estuvo presente en la Batalla de Katzbach. Después de esta batalla fue promovido enteramente a General de Infantería. Por su valor en la Batalla de Leipzig recibió la Orden de San Jorge de segunda clase. Lideró al Ejército ruso en la Batalla de Brienne y por esta importante victoria fue nombrado caballero de la Orden de San Andrés. En varios compromisos subsiguientes comandó el Ejército Silesio en lugar de Blücher.
El 19 de marzo de 1814 Osten-Sacken fue seleccionado como gobernador-general de París. Durante los Cien Días combatió a las órdenes de Michael Andreas Barclay de Tolly.
Al cierre de la guerra, Osten-Sacken comandó el 3.º cuerpo de infantería hasta la muerte de Barclay de Tolly, en cuyo punto lo sucedió como comandante en jefe del 1.º ejército. El 26 de agosto fue admitido en el Consejo de Estado. El 8 de abril de 1821 recibió un título condal de la Rusia Imperial.
A su ascenso al trono, el emperador Nicolás I lo seleccionó como jefe del regimiento de infantería Uglitsky, más tarde renombrado "Regimiento de Osten-Sacken". El 22 de agosto de 1826 el conde Osten-Sacken fue ascendido a Mariscal de Campo del Imperio Ruso y el 22 de septiembre fue nombrado caballero de primera clase de la Orden de San Vladimiro.
Cuando erupcionó el Levantamiento de Noviembre, Osten-Sacken se convirtió en gobernador de guerra de Kiev, Podolia y Volinia. Por sus rápidas y efectivas acciones, el emperador le confirió el título de Príncipe.
En 1835 el 1.ª ejército fue disuelto, mientras que Osten-Sacken fue licenciado del servicio militar conservando el rango de comandante en jefe y con el derecho de residencia en uno de los palacios imperiales. Murió en Kiev dos años más tarde a la edad de 85 años.
