Nacido en Evansville, Indiana,[3] Rose comenzó a cantar y a tocar el piano desde niño. Durante su adolescencia, se trasladó a Chicago, donde trabajó en espectáculos callejeros, y finalmente en el vodevil. Finalmente, se dedicó a la composición, alcanzando su primer éxito con un tema escrito para la artista Sophie Tucker.
Durante un tiempo, vivió en Nashville, Tennessee, pero el programa de radio en el que trabajaba no duró mucho y no tardó en marcharse al Tin Pan Alley de Nueva York, con la esperanza de ganarse la vida como compositor. Fue allí donde comenzó a escribir canciones para Ray Whitley, un actor y cantante de western, autor del éxito "Back in the Saddle Again". Fue esta colaboración la que abrió las puertas a Rose del género Country. Durante una temporada, compartió apartamento en Hollywood con Whitley, escribiendo juntos muchas canciones para sus películas.
En 1942, regresó a Nashville, donde se asoció con la estrella del programa radiofónico Grand Ole Opry, Roy Acuff, para crear la primera compañía discográfica de la ciudad.[3] Acuff-Rose Music siguió siendo la base del negocio de la música country incluso después de la muerte de Rose, su hijo Wesley Rose, ostentó la presidencia de la compañía, junto a Roy Acuff hasta 1985, cuando el catálogo del sello fue vendido a Gaylord Entertainment Company.
Rose ejerció como productor discográfico de Hank Williams a lo largo de toda su carrera artística, 1947-1953.[3]
Mientras dirigía el negocio, Rose continuó escribiendo numerosas canciones country y se convirtió en una de las más importantes figuras de la industria musical norteamericana. Usó el pseudónimo Floyd Jenkins para algunas de sus composiciones.[4]
Rose falleció en Nashville como consecuencia de un infarto en 1954.[5]
Junto con Hank Williams y Jimmie Rodgers, Rose fue uno de los tres primeros nombres que ingresaron en el Salón de la Fama de la Música Country Music cuando este fue creado en 1961. Fue incluido en el Salón de la Fama de Compositores de Nashville en 1970 y en el Salón de la Fama de los Compositores en 1985.
