A pesar de que su familia estaba orientada hacia las ciencias, siendo su padre Giovanni profesor de química, Carlo Alfonso se inscribió en la Facultad de Letras de Turín y estudió bajo la tutela de Italo Pizzi. Ya a los veintiuno publicó su primera obra, un estudio en tres volúmenes sobre la geografía y astronomía árabes.
El trabajo sobre al-Battani, Al-Battānī sive Albatenii Opus Astronomicum. A fidem codicis escurialensis arabice editum, Roma, Milán 1899-1907, 412 + 450 + 288 pp.), le dio prestigio internacional. Había sido precedido por la Chrestomathia Qorani arabica, editada en Lipsia en el 1893. Gracias a esto pudo emprender la carrera universitaria, enseñando inicialmente (1896-1902) en la Institución Universitaria Oriental de Nápoles (hoy Universidad de Nápoles "El Oriente" y luego en Palermo (1902-1913). En el 1900 publicó en Milán un libro sobre el dialecto árabe egipcio, reeditado en 1913, 1939 y 1978.
Entre la primera y la segunda edición de su El árabe hablado en Egipto y gracias a su vínculo con la cultura árabe fue invitado por el rey Fuad, futuro soberano de Egipto, a enseñar en la Universidad Jedival Egipcia, donde tuvo entre sus alumnos a Taha Husayn, una de las personalidades más ilustres de la cultura egipcia y futuro Ministro de Educación.
Fue nombrado profesor ordinario en la Universidad de Roma, ciudad donde en el 1921 había contribuido a fundar el Instituto para el Oriente junto con algunos políticos como el senador Amedeo Giannini. Garantizó así, entre otro, la publicación en esta institución de la revista Oriente Moderno, una de las mejores revistas del mundo sobre las cuestiones del Oriente Próximo contemporáneo en opinión del historiador británico Arnold J. Toynbee.
En el 1933 fue nombrado miembro de la Academia Real de Lengua Árabe de El Cairo. Era además socio de la Academia Nacional de los Linces y de la Academia de Italia.
En 1938 pidió permiso para efectuar un viaje en la Península arábiga y profundizar sus estudios pero los dos meses (9 de febrero-29 de marzo) pasados en el Reino Saudita como huésped del embajador de Italia Sillitti le agravaron la salud. Murió el 25 de julio de una crisis cardíaca después de completar sólo el primero de los dos volúmenes previstos sobre el reino árabe y que hoy constituye el primero de los 6 volúmenes de sus Escritos editi y inediti, publicados por la misma Institución para el Oriente bajo la supervisión de su hija Maria.
Sería ella quien continuaría su labor. La casa en la que padre e hija habían vivido fue legada a la Institución para el Oriente, así como su biblioteca rica en raros textos árabes, persas, turcos, urdu entre otras lenguas e importante fuente de hápax. En honor a tal legado, el Instituto para el Oriente cambió su nombre a Instituto para el Oriente Carlo Alfonso Nallino.
Roma le ha dedicado una vía en el Barrio Ardeatino y Turín otra en el Barrio Mirafiori Norte.
