Le Lower East Side, longtemps habité par une population ouvrière et défavorisée, avait autrefois très mauvaise réputation. Plusieurs chefs mafieux encore adolescents y firent leurs armes dans le Five Points Gang, notamment Frankie Yale, Johnny Torrio et Al Capone : leur histoire est racontée à l'écran dans Il était une fois en Amérique (1984), même si le film a été tourné dans les rues de Brooklyn.
Le quartier a été et reste encore à certains endroits un centre de la culture juive issue de l'Europe de l'Est, et constituant une importante part du prolétariat de la ville entre la fin du XIXe siècle et le milieu du XXe siècle. En 1910, 540 000 juifs y résidaient[1]. Son existence a été retracée par l'auteur yiddishophone Mike Gold.
Plus récemment, il a été occupé par d'autres immigrants, notamment d'origine latine et asiatique. C'est particulièrement visible pour sa partie nord, également appelée East Village. À la population d'origine polonaise et ukrainienne s'est ajouté un afflux d'immigrants japonais. Au cours des quinze dernières années[Quand ?], les restaurants à sushi et les marchés de nourriture japonaise s'y sont développés. On trouve aussi un nombre significatif d'immigrants provenant du Bangladesh et des pays musulmans, qui fréquentent la mosquée Madina Masjid à l'angle de la première Avenue et de la 11e rue. La diversité des cultes religieux est caractéristique du quartier, qui comporte plusieurs synagogues, des églises, un important temple Hare Krishna et des lieux de prière bouddhistes.
Les limites du Lower East Side évoluent dans le temps, à l'image de sa population. La partie au sud de Delancey Street et à l'ouest d'Allen Street fait maintenant partie de Chinatown, tout comme Grand Street. L'East Village est souvent considéré comme un quartier distinct depuis qu'une population plus aisée s'y est installée. Au sud de Houston street, on observe cette même évolution des classes sociales. Des restaurants et boutiques de standing sont apparues le long de Clinton Street. À Orchard Street, on trouve beaucoup de magasins de vêtements, surtout spécialisés dans le cuir. Bowery, autrefois sinistrée et occupée par les gangs, est devenue une zone commerciale très vivante. Cependant, la Bowery Mission, fondée en 1879 pour venir en aide aux sans-logis, reste toujours en activité.