Il est fondé vers 1953 par Ben Benjamin (né en 1908 ou 1912 à New York), qui le gère avec sa femme Etla (née en 1908), une russe naturalisée française. La préfecture de police a autorisé l'établissement à « donner des concerts instrumentaux avec intermèdes de chant ». Selon le commentaire d'un policier dans une note administrative, « la clientèle cosmopolite de ce bar, qui en principe est ouvert de 22 heures à 3 heures du matin, est composée surtout de sujets américains, la plupart amis et camarades du dénommé Benjamin ». Ultérieurement, vendant le Mars Club à l'été 1958, Benjamin fondera, de l'autre côté de l'avenue des Champs-Élysées, le Blue Note, dans l'ancien club de jazz Le Ringside. En 1958 et 1959, le Mars Club est géré par un couple de jeunes américains, Barbara et Barney Butler. La scène du Mars Club accueille des musiciens et chanteurs de jazz réputés, souvent des noirs-américains (ceux-ci apprécient notamment en venant en France de ne pas avoir à subir la ségrégation alors encore en vigueur aux États-Unis), parmi lesquels : Aaron Bridgers (pianiste résident), Elek Bacsik (guitariste et violoniste résident), Nancy Holloway (chanteuse), Art Simmons (pianiste résident).
Billie Holiday y est engagée lors de son dernier séjour en France, quelques mois avant sa mort. Elle y est accompagnée sur scène par Mal Waldron et Michel Gaudry à la contrebasse.
Le lieu est notamment fréquenté par Juliette Gréco, Serge Gainsbourg, ou encore Françoise Sagan.
