Gross atribuye su sonido a la rica apreciación de la música góspel que resonaba en el hogar de sus padres en Baltimore.[4] El padre de Gross fue el pastor de la iglesia de su ciudad natal Mt. Zion C.O.G.I.C. hasta su muerte el 1 de febrero de 2007. Tras desarrollar su interés por la música clásica en la Baltimore School for the Arts,[4] Gross estudió un semestre en la Howard University y cuatro años en el Berklee College of Music. Gross no ha dejado de crear música distintiva. El Berklee College of Music le otorgó una licenciatura en Interpretación Musical. Dos de los mejores profesores de Berklee, Joe Viola y Bill Pierce, le ayudaron a afinar la musicalidad. Al graduarse en 1988, Gross comenzó su carrera profesional en la música de jazz.
Ganador de dos premios Grammy con la Dave Holland Big Band, Gross balancea y canta con alma y ritmo junto a la vanguardia del jazz actual. Constantemente impulsa la música hacia nuevas formas, mientras se mantiene fiel a los elementos del sonido clásico. Gross ha realizado más de 40 notables grabaciones de jazz, incluidos los proyectos de la Dave Holland Big Band, ganadores de un Grammy: What Goes Around en ECM Records,[5] y Overtime en Dare 2 Records. Hasta la fecha, Gross ha grabado 3 CDs con su propio nombre. Preach Daddy en King Records, Riddle of the Sphinx en J Curve Records y, en 2013, Blackside en Jazz Legacy Productions (JLP). Su profesionalidad constante le ha llevado a colaborar en directo y en grabaciones con muchos de sus compañeros de camino en el mundo del jazz.
Gross ha realizado giras por todo el mundo con el Mark Gross Quartet, Buster Williams, Philip Harper, Nat Adderley, Dave Holland, Mulgrew Miller, Nicholas Payton, Delfeayo Marsalis, Wynton Marsalis, Dizzy Gillespie, Nancy Wilson, Jimmy Heath, Dizzy Gillespie Alumni Big Band, Village Vanguard Jazz Orchestra, Tom Harrell Big Band, Duke Ellington Orchestra, Frank Foster and the Loud Minority, Charles Mingus Big Band, Freddie Hubbard, Donald Harrison, Mark Whitfield, Joe Dukes, Captain Jack McDuff, Joe Chambers, Neal Smith, Cyrus Chestnut, Regina Carter, Lionel Hampton, Stefon Harris, Walter Booker, Jimmy Cobb, Don Braden, Vincent Gardner, Lenora Zenzalai Helm o Jann Parker, entre otros. Sus relaciones profesionales con estos músicos y otros han sido duraderas y de gran alcance.
Gross también ha actuado en Broadway en varias ocasiones. Actuó en Five Guys Named Moe (1992-1993), basada en la música de Louis Jordan. También en Kat and the Kings (1999-2000), un musical que explora los alegres sonidos que nacieron de la opresión racista durante los años 1950 en Ciudad del Cabo, Sudáfrica con el apartheid.
