Agrégé d'histoire en 1910, il est professeur d'histoire au lycée d'Annecy de 1912 à 1914 et au lycée Ampère de Lyon de 1919 à 1923. Il enseigne ensuite à l'université de Lyon en tant que maître de conférences de géographie en 1923, puis en tant que professeur de géographie en 1926. C'est lors de cette période qu'il devient docteur ès lettres en 1925. Il contribue à la création de l'institut des études rhodaniennes[1], dont il est le secrétaire général de 1924 à 1926.
Il est ensuite nommé à la Sorbonne, d'abord comme maître de conférences de géographie en 1927, comme professeur sans chaire en 1928, puis comme professeur de géographie régionale à partir de 1935. En 1944, il est transféré dans la chaire de géographie régionale et il devient directeur de l'Institut de géographie, puis enfin doyen de la Sorbonne en 1945 jusqu'à sa retraite en 1956[2].
À l'institut des études rhodaniennes, il crée deux revues scientifiques dont les Études Rhodaniennes [3], qui deviendra la Revue de géographie de Lyon à la fin des années 1940[4], puis GéoCarrefour en 1997. Il fonde et dirige la revue l'Information géographique en 1936 et c'est l'un des collaborateurs des Annales de géographie. Il est aussi le secrétaire général puis le directeur de l'Association des géographes français[2].
Après une thèse sur les Préalpes de Savoie, André Cholley devient un spécialiste de géographie régionale. Il expose ses réflexions sur la discipline dans son Guide de l'étudiant, la seconde édition étant assez différente de la première.