Con independencia de su nombre, que sugiere Córdoba, no existe mucha información acerca de su procedencia y tampoco evidencia alguna de que viniese de allí. Lo que se sabe es que se trasladó a Málaga después de la guerra de Granada.
Para cuando instaló su residencia en Málaga, ya estaba casado con Inés Fernández y para el año 1496 la pareja ya tenía seis hijos: Diego, Alonso, Francisco, Juan, Luis y Gaspar de Torres. Todos ellos figurando en los registros como de Torres.
Las razones de dicha decisión se desconocen pero algunas explicaciones sugieren que la intención era diferenciarse del antiguo linaje, lo que en la época era una práctica muy común entre las familias acaudaladas de origen semita. Estos años coinciden con la congregación general de Cisneros en la cual se decidiría el destino de los judíos conversos bajo el poder de la Inquisición, periodo en el que los de Torres vieron morir a su madre y esposa Inés.
En el año 1514 casó con su segunda esposa Inés Márquez, también de origen judío y cuyos padres Alonso de Córdoba y Beatriz Márquez, vecinos de Málaga, fueron condenados por la Inquisición en dos ocasiones. De este matrimonio nacieron tres hijos: Melchor, Elvira y Rodrigo de Torres. Poco tiempo después Fernando moriría figurando como difunto en septiembre de 1523.
Fue feligrés de la Iglesia de San Juan (Málaga), pero fue enterrado en el monasterio franciscano de San Luis el Real (ahora Sala María Cristina) como solicitó en vida, descansando en la capilla de los Ángeles que poseía y cuyo altar renacentista construido en madera de castaño en 1516 fue obra del arquitecto y escultor Nicolás Tiller, con un coste de 30 000 maravedíes.
