Baker fue uno de los iniciadores y miembros de la junta del Club de Quórum ubicado en el Hotel Carroll armas junto a un edificio de oficinas del Senado. La sociedad lo acusó de haber ido a un lugar para que los legisladores y otros hombres influyentes se reúnen para comer,beber y estar con mujeres. Baker, y uno de sus colegas, cabildero de Bill Thompson, se dice que han organizado para el quórum del Club presentadora Ellen Rometsch para conocer a John F. Kennedy. Rometsch era de origen de Alemania del Este, y había sido miembro del Partido Comunista antes de venir a los Estados Unidos.
En 1962, Baker creó la Corporación Serv-U con su amigo, Fred Negro. La compañía fue diseñado para proporcionar a las máquinas expendedoras para las empresas que trabajan en programas federales otorgados. Aunque una parte de numerosas ofertas de otros relacionados con la política y los asuntos financieros privados, este negocio particular, causaría un escándalo. Baker fue investigado por el Comité de Reglas del Senado de acusaciones de soborno del Congreso con el dinero y dispuestos favores sexuales, a cambio de votos y los contratos gubernamentales.
En una biografía de Robert Kennedy, el autor Evan Thomas describe una disposición en la que el hermano del presidente, y el entonces procurador general, Robert Kennedy, fue capaz de organizar un acuerdo con J. Edgar Hoover, con el fin de sofocar la investigación del Senado de Bobby Baker. Esto impidió que el escrutinio público de Baker, de causar la exposición de la participación del presidente Kennedy con Ellen Rometsch. Hoover logró limitar la investigación del Senado de Baker con la amenaza de divulgar información embarazosa sobre los senadores que figuran en los archivos del FBI. A cambio de esto, Robert Kennedy aseguró Hoover que su trabajo como director del FBI, era seguro y también de acuerdo en permitir que el FBI para proceder con las escuchas telefónicas que Hoover había solicitado, incluyendo escuchas telefónicas de activistas políticos como Martin Luther King.
El acuerdo Serv-U Corporation se convirtió en el tema de las acusaciones de conflicto de intereses y la corrupción después de que un contratista del gobierno descontentos ex demandó a Baker y Negro en un tribunal civil. Este pleito finalmente generó una gran cantidad de noticias y una investigación republicano en el negocio de Baker y las actividades políticas. Cada vez más críticas, Baker renunció a su trabajo como secretario de la mayoría el 7 de octubre de 1963.
Teóricos de la conspiración han hecho gran parte del hecho de que el secretario Baker, Nancy Carole Tyler, compartió un apartamento con Mary Jo Kopechne, un asesor del senador George Smathers y más tarde con el senador Bobby Kennedy. Tyler fue muerto en un accidente aéreo en 1965. Kopechne murió en 1969, en un accidente en Chappaquiddick Island en un coche conducido por el senador Ted Kennedy. Tomando nota de las muertes de estas mujeres desafortunadas y fuera de tiempo, algunos teóricos de la conspiración han utilizado esto para asociar el escándalo de Bobby Baker, con el asesinato de John F. Kennedy. Sin embargo, estas teorías son muy olvidado por los historiadores y las investigaciones posteriores, debido al papel de Baker en el Partido Demócrata y conocida amistad con John F. Kennedy, así como la participación de Ted Kennedy con la muerte segunda. Otros afirman de que Baker no tiene ninguna relación con estas otras tragedias que tal vez por casualidad conocer a las personas que perdieron la vida.
