Los miembros originales de la banda fueron Al Alberts, Dave Mahoney, Lou Silvestri y Rosario "Sod" Vaccaro. Alberts conoció a Mahoney mientras ambos servían en el ejército. Posteriormente se sumaron a la formación Vaccaro, como trompetista y Silvestri como batería. Comenzaron a tocar en el área de Filadelfia y Alberts fundó su propio sello discográfico, Victoria Records, con el que lanzaron su primer disco, "(It's No) Sin". El sencillo vendió un millón de copias, lo que les proporcionó un contrato con Decca Records.
Alberts dejó el grupo en 1958 para iniciar una carrera en solitario. Fue reemplazado como vocalista principal por Fred Diodati. Poco después, Mahoney y Vaccaro también abandonaron el grupo, dejando a Silvestri como único miembro de la formación original. Mahoney y Vaccaro fueron reemplazados por Tony Alesi y Joe Giglio. Unos años más tarde, Silvestri dejó la banda para reunirse con los demás miembros originales del grupo bajo el nombre de The Original Four Aces. De esta forma convivieron dos grupos; el liderado por Diodati, con Alesi, Giglio y Harry Heisler y otro formado por los cuatro miembros originales.
Alberts falleció por causas naturales el 27 de noviembre de 2009 a los 87 años de edad. Mahoney falleció el 12 de julio de 2012 a los 86años . Silvestri el 27 de enero de 2013 y Vaccaro el 5 de abril de 2013, a los 90 años.
