En 1948, Elliott est élu à la Chambre des représentants des États-Unis. Il est réélu à sept reprises[2]. Durant son mandat, il est l'un des principaux auteurs du National Defense Education Act, finançant les études supérieures d'enfants pauvres, et du Library Assistance Act, finançant quant à lui les bibliothèques des régions les plus pauvres des États-Unis[1],[3].
En 1964, il remporte la primaire démocrate dans le 7edistrict de l'Alabama face à Tom Bevill(en), soutenu par Wallace. La législature de l'Alabama échoue cependant à adopter la carte des circonscriptions et Elliott doit se présenter à l'échelle de l'État[3]. Il perd alors son siège de représentant, terminant en neuvième position de la primaire démocrate (pour huit sièges). Sa défaite est vue comme une victoire pour Wallace. Il se présente deux ans plus tard au poste de gouverneur de l'Alabama, mais il est battu par Lurleen Wallace durant la primaire[1],[4].
Après le Congrès
Après plusieurs emplois dans l'administration durant les années 1960, il retrouve son métier d'avocat jusqu'en 1986, année où il prend sa retraite[2]. Endetté à l'issue de sa dernière campagne électorale, Elliott doit y abandonner sa retraite de représentant[4] et tombe dans une certaine pauvreté[1]. Malade, il perd progressivement l'usage des jambes à cause du diabète et sa vue décline[3].
En 1990, il est le premier récipiendaire du Profile in Courage Award de la fondation de la bibliothèque présidentielle John F. Kennedy[1]. Elliott publie plusieurs ouvrages sur l'histoire de l'Alabama puis une autobiographie intitulée The Cost of Courage: The Journey of an American Congressman en 1992[5].
Il meurt le dans sa maison de Jasper, achetée avec sa femme en 1945. La maison devient un musée deux ans plus tard, le Carl Elliott House Museum[3].