Il est l'un des principaux clarinettistes des orchestres de Papa Jack Laine avant de partir pour Chicago avec le groupe de Red Brown au début de l'année 1915. Après avoir servi dans l'armée américaine pendant la Première Guerre mondiale, il part pour la Californie et intègre le premier orchestre de Paul Whiteman qu'il accompagne à New York, contribuant à donner à la formation une touche Dixieland. On peut l'entendre sur Wang Wang Blues(en), enregistré par Whiteman en 1920. Selon Whiteman, Gussie Mueller ne souhaitait pas apprendre à lire une partition, de peur que cela ne nuise à son style hot jazz. Il quitte Whiteman en , trouvant le style de l'orchestre trop sage[2]. Il repart pour la Californie et se joint à son ami de longue date Ray Lopez dans l'orchestre d'Abe Lyman(en)[3]. Il reste dans la région de Los Angeles où il joue jusque dans les années 1940, jouant principalement dans des orchestres hillbilly[4].
