Brown apprend le piano, la trompette et le saxophone durant sa jeunesse. Il joue à New York avec l'orchestre de Bernie Robinson en 1928, puis de 1928 à 1934 il accompagne l'orchestre de Charlie Skeets. En 1937, il travaille avec la formation de John Kirby. Durant les années 1930, il collabore plusieurs fois avec Frank Newton, qui fait lui aussi partie de la formation de Kirby. Brown et Newton enregistrent souvent ensemble.
En plus des enregistrements sous son propre nom, Brown enregistre aussi, dans les années 1930, plusieurs albums en tant que musicien de studio avec Willie "The Lion" Smith, Jimmy Noone, Buster Bailey, Leonard Feather, Joe Marsala, et Maxine Sullivan.
Dans les années 1940, il joue principalement à Broadway sur la 52e rue, que ce soit comme musicien d'accompagnement (entre autres avec Slim Gaillard) ou avec son propre orchestre.
Dans les années 1950, sa santé commence à décliner, et il ralentit le rythme des performances. Il joue avec Joe Wilder (1954), Big Joe Turner (1956), Sammy Price et Champion Jack Dupree. En 1957, il se produit au Newport Jazz Festival aux côtés de Coleman Hawkins et Roy Eldridge. Sa dernière apparition sur scène a lieu en 1960 où il accompagne Dizzy Gillespie.
.jpg)
