À la fin des années 1940, il fonde le Star Rhythm Boys à côté du pianiste Reece Fleming, qui jouera en 1957 avec Hoyt Johnson. À l'automne 1954, Malcolm Yelwington enregistre pour la petite firme de Memphis, Sun Records, en compagnie de Reece Fleming et Lavern Fleming (pianos), Miles Win à la steel[Quoi ?] et Gordon Mashburn à la guitare, un premier single qui sortira en novembre "Drinkin' Wine Spo-Dee-O-Dee" et "Just rollin' along" (écrit par Reece), un mélancolique hillbilly-boogie aux allures de western-swing. En 1955 il réalise un single avec la version "Yakety Yak" (qui n'a rien à voir avec "Yakety Yak" des Coasters) sur le label Meteor Records. Malcolm se produit régulièrement au Eagle's Nest Club de Memphis, et attendra mai 1956 pour enregistrer quelques rockabillies notamment "Rockin' with My Baby" pour Sun Records.
En 1958 à la mort de son pianiste Malcolm Yelvington prend une retraite prématurée et se tourne vers sa famille et ses cinq enfants. Mais avec le Rockabilly Revival des années 1970 et 1980, il revient dans les studios et enregistre d'abord pour Shelby County sans résultat tangible et en 1976 pour Barrelhouse. Enfin on le retrouve en 1980 sur l'album US Rockabilly Records RB 1001 à l'âge de 53 ans. Il réalise encore un autre album à Memphis en 1997 à l'âge de 79 ans. Il meurt le à l'âge de 83 ans à Memphis. En 2006, le label Bear Family Records a réédité la plupart des morceaux de l'épopée Sun Records.
