Fue uno de los hijos del matrimonio formado por Giovanni de Torres y Giulia Mattei. Por parte de su padre, Ludovico pertenecía a una rama de la familia malagueña de los Torres que se había asentado en Roma tras haber seguido a Luis I de Torres, prelado que llegó a ser arzobispo de Salerno. Por el lado materno, pertenecía a una familia noble romana. La propia Giulia Mattei era tataranieta del papa Alejandro VI a través de la hija de este, Isabella.
Ludovico tuvo al menos un hermano, Cosimo que llegaría a ser cardenal.[2]
Hacia 1595 contrajo matrimonio con Vittoria Cenci, hija única del barón Lorenzo di Pietro Battista Cenci. Vittoria era miembro de una familia de rancia nobleza romana que podía remontar sus orígenes hasta el siglo X. De este matrimonio tuvo dos hijos:
- Giovanni de Torres, que llegó a ser arzobispo de Salerno (desde 1658 hasta 1662) y nuncio apostólico en Polonia.
- Claudia de Torres, casada con Scipione Lancelloti (1609-1678), i marqués de Lauro.
- Ferdinando de Torres.
Durante su vida participó en la alta sociedad romana como por ejemplo en el Carnaval de Roma de 1603, participando en una justa y teniendo como padrino a Alessandro Marcelli.[3]
Murió en Gaeta en 1613.[1] Tras su muerte, su viuda vendió el palacio familiar a José de Calasanz (futuro santo) para que sirviera como sede al colegio que este había fundado y que sería germen de la Orden de los Clérigos Regulares pobres de la Madre de Dios de las Escuelas Pías.
Sus hijos quedaron bajo la tutoría de su hermano el cardenal Cosimo de Torres.