Né à Washington DC, Andy Razaf est le fils d'Henri Razafkeriefo (neveu de la Reine Ranavalona III de Madagascar) et de Jennie (Waller) Razafkeriefo (fille de John L. Waller, premier consul noir américain à Madagascar). Son père décède à la suite de l'invasion de Madagascar par les Français. Il fuit avec sa mère (âgée de seulement 15 ans) vers les États-Unis, vivant dans des conditions difficiles.
Andy Razaf grandit à Harlem, il quitte l'école à 16 ans et commence à travailler comme portier dans un ascenseur au Tin Pan Alley office building. Un an plus tard, il écrit son premier texte de chanson.
Les premières publications des poèmes d'Andy Razaf remontent à 1917-18 dans Voice, le premier journal du New Negro Movement. Il collabore avec les compositeurs Eubie Blake, Paul Denniker, Don Redman, James P. Johnson, J. C. Johnson, Harry Brooks, et Fats Waller. Il écrit aussi des paroles pour des standards de jazz déjà existants comme Stompin' at the Savoy, Christopher Columbus, et In the Mood. Sa collaboration avec Fats Waller est fructueuse et donne naissance à de nombreux standards : The Joint Is Jumpin', Ain't Misbehavin', Honeysuckle Rose, Willow Tree, Keepin' Out of Mischief Now, et What Did I Do to Be So Black and Blue. Sa musique est aussi jouée par plusieurs artistes tels que Benny Goodman, Eubie Blake et Cab Calloway. Il contribue et travaille comme éditeur pour le UNIA's Negro World newspaper. Plusieurs textes écrits par Andy Razaf se rapportent aux noirs américains, à leur place dans la société américaine et aux questions raciales. Les textes donnent un aperçu de la vie à New York dans la première moitié du XXe siècle.
En 1972, Andy Razaf entre dans le Hall Of Fame des paroliers
Il décède en 1973 à Hollywood, en Californie, d'un cancer.
