Dans sa jeunesse, il a souffert d'insolation (causé par le soleil), l'empêchant d'atteindre son rêve et de devenir joueur de baseball professionnel. Il a appris le violon et a rejoint un spectacle musical qui faisait un arrêt dans sa ville, Nashville ne désirant travailler qu'après le coucher du soleil. Dans des spectacles dans le Sud des États-Unis, il a joué un numéro composé de vieilles chansons chantées avec un accompagnement joué par des instruments à cordes, des hymnes et quelques chansons populaires de cette époque, et il a aussi fait des sketches comiques (notamment au yo-yo). En 1933, il a formé le groupe Tennessee Crackerjacks avec lequel il a joué sur la radio de Knoxville. L'année suivante, le nom du groupe change pour les Crazy Tennesseans, qui ont commencé à enregistrer en 1936. Cette année-là, Roy Acuff a enregistré ses deux plus grands succès: Great Speckled Bird et Wabash Cannonball.
En 1938, le nom du groupe change encore, ils deviennent les Smoky Mountain Boys. Ils commencent à faire des apparitions au Grand Ole Opry de Nashville où Acuff se démarque comme artiste solo au sein du groupe. Des succès remarquables où l'on peut entendre sa voix aiguë et sèche datent de cette époque : Night Train to Memphis, Fire Ball Mail et Wreck on the Highway. Il a aussi joué dans des films des années 1940, tel The Grand Ole Opry.
En 1942, il fonde sa maison de disques avec Fred Rose, Acuff-Rose Music Publishing Company. Bien qu'il continue à enregistrer, ses succès ne sont rien comparés à son talent de producteur. Cette compagnie va grossir jusqu'à devenir la plus grosse compagnie de Country au monde. Sa popularité était telle qu'il a fait campagne pour le poste de gouverneur du Tennessee en 1944 et en 1948. Il a parcouru le monde pour divertir les gens lors de la Seconde Guerre mondiale et du Viêt Nam.
En 1962, il est introduit dans l'allée des célébrités de la musique Country. Ses honneurs les plus prestigieux sont le Grammy Lifetime Achievement Award, en 1987, ainsi que la médaille Nationale de l'Art et le Kennedy Lifetime Achievement Award, en 1992. Il a enregistré son dernier single en 1974. En 1983, veuf de Mildred Douglas (1914-1981), il a déménagé dans une maison située dans le parc d'amusement d'Opryland où il est mort d'un arrêt cardio-circulatoire.
