Nacido en Chincha, sus padres fueron Fernando Carrillo de Albornoz y Bravo de Lagunas, VI conde de Montemar, y María Rosa de Salazar y Gaviño, VI condesa de Monteblanco. Al fallecer sus hermanos mayores se convirtió en heredero de su familia y su padre le cedió el condado de Montemar y la vara de alférez real de Lima.
Dueño por su familia materna de la hacienda de San José de Chincha, fue alcalde provincial de esa provincia, además de coronel de Milicias y coronel del Ejército.
En 1804, se casó en Lima con Petronila de Zavala y Bravo de Rivero, hija de los marqueses del Valle-Umbroso. La pareja tuvo un único hijo del primer matrimonio. Además, tuvo un segundo matrimonio con María del Carmen Litardo con la que tuvo un segundo hijo llamado Martin Carrillo de Albornoz Litardo.
Al fallecer sus padres heredó el condado de Monteblanco, el señorío del Castillo de Mirabel y el cargo de regidor perpetuo del Ayuntamiento. En diciembre de 1809 fue elegido alcalde de primer voto del Ayuntamiento para el siguiente año.
En 1821, fue uno de los ocho títulos de Castilla que firmó el Acta de Independencia del Perú; sin embargo, según una leyenda popular, planeó asesinar a José de San Martín y a su estado mayor en un baile tras el cual el libertador lo mandó fusilar. En 1822, abandonó la causa patriota y se exilió a España, donde fue ascendido a brigadier, caballero de Montesa, de San Hermenegildo e Isabel la Católica.
