Sus padres fueron los criollos Francisco Buenaventura Remírez de Laredo, I conde de San Javier y Casa Laredo, y Francisca Javiera Calvo de Encalada y Chacón, hija del I marqués de Villapalma. Estudió en el Colegio Mayor de San Felipe y San Marcos (1767) y la Universidad de San Marcos donde obtuvo el grado de Doctor en Leyes, recibiendo poco después como Abogado ante la Real Audiencia de Lima.
Dada su condición nobiliaria fue reconocido como teniente coronel de las milicias de caballería y luego elegido alcalde ordinario de Lima (1781). Ese mismo año suscribió, junto con los miembros del claustro sanmarquino, un memorial elevado al Virrey para solicitar la prórroga del periodo rectoral de José Ignacio de Alvarado y Perales. Obtuvo el hábito de caballero de la Orden de Santiago y ante el fallecimiento de su hermano mayor José Ventura, lo sucedió como Conde de San Javier y Casa Laredo (1786). Ejerció como mayordomo del Hospital del Espíritu Santo (1793).
Elegido oidor de la Real Audiencia de Charcas (17 de marzo de 1807), luego de la Revolución de Chuquisaca pasó a ser regente de la misma (30 de noviembre de 1809). Nombrado consejero del Real y Supremo Consejo de Indias (1810), fue trasladado a la regencia de la Real Audiencia de Lima (1813) ante la posible vacancia de Manuel Arredondo pero al no producirse esta quedó sin efecto. Finalmente fue confirmado en su cargo de consejero de Indias (1814) y pasó a España para tomar posesión de dicho oficio (1817), siendo luego nombrado gentilhombre de cámara del Rey.
La caída del régimen constitucional en España (Trienio Liberal) y la consolidación de la Independencia del Perú lo decidieron a regresar a América, estableciéndose en Lima, donde pasó sus últimos años. Falleció en el cercano pueblo chalaco de Bellavista.
