Harold Rosenberg grandit à Brooklyn. Il commence des études supérieures aux City College of New York (1923-1924), puis décroche son Bachelor of Laws à la Brooklyn Law School. C'est donc en tant que juriste qu'il commence sa carrière. Mais Harold préfère de loin s'épanouir dans d'autres lectures que celles liées au droit, dans l'immense bâtiment de la New York Public Library. Il embrasse dès lors une vie bohème, en même temps qu'il est frappé par une ostéomyélite mal soignée: il portera toute sa vie une canne.
Dans les années 1930, il devient marxiste et collabore à des revues socialistes comme Partisan Review, The New Masses, Poetry et Art Front. De 1938 À 1942, dans le cadre du Federal Writers' Project, il devient rédacteur en chef des American Guide Series, supervisant plus de 6 000 contributions d'écrivains. C'est durant cette période qu'il abandonne le marxisme. De 1943 à 1947, il travaille au Bureau d'information de guerre des États-Unis.
Il poursuit sa carrière comme critique d'art. Il est célèbre pour avoir défini ce qui allait être qualifié d'expressionnisme abstrait, ou Action Painting. L'expression est utilisée pour la première fois dans son article «American Action Painters» en , puis repris dans son livre The Tradition of the New publié en 1959.
Il y décrit le déplacement du centre artistique mondial de Paris à New York, thème déjà présent dans son article «The Fall of Paris», publié durant l'été 1940.
Rosenberg est réputé en tant que critique d'art, ses articles publiés dans le New Yorker dès les années 1950, sont à la fois craints et admirés.
Ses principaux ouvrages théoriques sont The Tradition of the New (1959), The Anxious Object (1964), Art Work and Packages, Art and the Actor et The De-Definition of Art, ce dernier ouvrant la voix à une déconctruction de l'histoire de l'art, inscrivant Rosenberg parmi les pionniers de la postmodernité critique.
Il a écrit des monographies sur Willem de Kooning, Saul Steinberg, et Arshile Gorky. Marqué par sa jeunesse marxiste, les essais de Rosenberg tentent de montrer les courants qui traversent la peinture, la littérature, la politique en les reliant à la culture populaire.
