El restaurante fue abierto en 1896 por Joshua Anthony Rao, quien se mudó con sus padres desde Italia hasta los Estados Unidos. Compró un pequeño local en el Harlem italiano, que en ese entonces era una gran comunidad ítalo-americana, y dirigió el restaurante hasta su muerte en 1909. Louis Rao tomó el negocio. Fue visto por muchos como un hombre muy "suave". Se hacía sus cortes de pelo en el Waldorf Astoria Hotel y utilizaba trajes de lujo. El antiguo copropietario Frank Pellegrino describió esos días como "los días de grandes Cadillacs y usualmente convertibles." Era de un aspecto y comportamiento mucho más conservador y refinó a un simple menú italiano con la ayuda de la "Tía Jake". Luego de la muerte de Vincent Rao en 1999, el restaurante fue heredado por Frank Pellegrino, sobrino de Anna Pellegrino Rao, y Ronald Straci, otro pariente cercano. Anna Pellegrino Rao refinó el menú aún más con la ayuda de Vincent y ella es el origen de gran parte de la identidad del menú hoy en día.
El 6 de diciembre del 2006, Rao's abrió un segundo restaurante en Las Vegas, dirigido por la chef ejecutiva Carla Pellegrino, con dos ambientes de diez mesas cada uno y más mesas en un patio jardín.[3] A inicios del 2009, Rao's en Las Vegas abrió un bar de bochas en el exterior y empezó a ofrecer lecciones de bochas y cockteles ahí.[4] El 25 de julio del 2013, Frank Pellegrino Jr. anunció en Late Night with Jimmy Fallon que Rao's abriría en Hollywood al poco tiempo.[5] It has since been opened.[6][7]
Rao's ahora vende productos en mercados gourmet y supermercados. Los productos incluyen pasta, salsa y aceite de oliva.[8]
Aunque pequeño, la cultura en el Harlem italiano se mantiene viva por Rao's y la Giglio Society of East Harlem. Cada año, en el segundo fin de semana de agosto se llevan a cabo festivales italianos con cientos de visitantes y curiosos que celebran la que fuera una de las mayores comunidades italianas en Nueva York.
El New York Post describe el restaurante como "uno de los lugares más difíciles de entrar en la ciudad".[9]
Clientes notables del restaurante incluyen a John Gotti, Rudy Giuliani, Robert De Niro, Al Pacino, Matt Sullivan, Paul Vario, Anthony Salerno, Henry Hill, Steven Crea, Michael Rosenthal, Bill Clinton, Hillary Clinton, Anthony Scaramucci, Donald Trump, Bo Dietl y muchos miembros neoyorquinos de la Cosa nostra.
