Rhett avait déjà son propre groupe à onze ans. En 1992, il s'installe à Nashville pour tenter sa chance comme chanteur country. Après avoir envoyé des maquettes à de grandes maisons de disques, il signe rapidement un contrat avec Decca. Son premier album, A Thousand Memories, sort en 1995 et s'inscrit stylistiquement dans le mouvement néo-traditionaliste. Deux titres, « What They're Talkin' About » et « I Brake for Brunettes », se classent dans le Top 40, mais c'est « That Ain't My Truck » qui le propulse sur le devant de la scène. En 1996, il sort « Don't Get Me Started », un tube numéro un des charts country. Ce titre est extrait de son deuxième album, * Somebody New *.
En 1998, il sort l'album What Livin's All About, qui atteint seulement le Top 40. Il contient le single « Better Than It Used To Be », un succès dans les clubs de danse en ligne. En 2002, il revient avec son quatrième album, Friday Night In Dixie, aux sonorités rock sudiste. Bien qu'il ne parvienne pas à retrouver le succès de ses débuts, de nombreuses stations de radio lui restent fidèles. Son cinquième album, People Like Me, suscite une vive polémique avant même sa sortie. Le single, intitulé à juste titre Kiss My Country Ass, est refusé par de nombreuses radios.
Après l'échec de sa carrière solo, Akins se concentre sur l'écriture pour d'autres artistes. De nombreuses stars de la musique country ont repris ses chansons et connu le succès, notamment Brooks & Dunn, Luke Bryan, Josh Turner, Chris Young, Tim McGraw et Blake Shelton.
Akins est le père de Thomas Rhett, qui a surpassé le succès de son père en tant que chanteur depuis 2012.