Sa famille déménage à Indianapolis en 1912 et il apprend le piano par lui-même en écoutant le pianiste Ollie Akins. En 1922 il devient musicien professionnel et bootlegger (vendeur d'alcool illégal) occasionnel.
Il va en prison en 1925, mais reprend le piano un an plus tard dans les boîtes de jazz d'Indianapolis, où il rencontrera Francis "Scrapper" Blackwell, guitariste occasionnel et bootlegger à plein temps. Ils commencent à jouer ensemble et leur réputation franchit la frontière de la ville d'Indianapolis.
En 1928 Carr et Blackwell enregistrent How Long How Long Blues, qui est un succès et fait la réputation des deux compères. Ils enregistreront d'autres morceaux : Naptown Blues, We're Gonna Rock, Corn Licker Blues... Malheureusement la propension de Leroy Carr pour le whiskey lui sera fatale. Il enregistre son dernier disque en
février 1935 au titre prophétique Six Cold Feet in the Ground et meurt deux mois plus tard, probablement de cirrhose. Blackwell entre dans une période de dépression, joue encore un peu de musique, mais arrête rapidement.
