Fils de Barnet Rosset, banquier issu de la communauté juive de Chicago, et de Mary Tansey, appartenant à une famille irlandaise marquée par la catholicisme, le jeune Barney entre à la Francis W. Parker School, un collège progressiste, et devient l'ami d'enfance de Haskell Wexler, futur cinéaste. En 1942, âgé de 19 ans, il rejoint l'US Army, et sert dans l'United States Army Signal Corps, où il est chargé de la photographie. Durant son enrôlement, il découvre les ouvrages de Henry Miller, alors publiés uniquement en France, et interdits de diffusion aux États-Unis. Il part en campagne en Chine, d'où il ramènera de nombreux clichés.
En 1949, il épouse la peintre Joan Mitchell; le couple s'installe à Greenwich Village (Manhattan). Son profond désir est de devenir cinéaste comme son ami Wexler, mais le premier film qu'il produit, Strange Victory, un documentaire traitant du racisme dans l'Amérique post-1945, est un échec commercial. Suit un divorce avec Mitchell. En 1951, il décide de racheter Grove Press, alors en vente pour la somme de 3 000 dollars. Entretemps, Rosset décroche un bachelor of Arts à The New School et commence à écrire pour la Monthly Review.
Rosset se maria quatre autres fois: avec successivement Hannelore Eckert, Cristina Agnini, Lisa Krug, et Astrid Myers. Il a quatre enfants.
Il revend Grove Press en 1985 à la Wheatland Corporation, dirigée par le philanthrope George Weidenfeld, non sans obtenir la garantie que la maison poursuive ses engagements éditoriaux. Il suspend également Evergreen Review mais la relance en 1998 sous la forme d'un webzine.
En , il reçoit le prix de la National Book Foundation(en) pour saluer son travail d'éditeur indépendant et militant totalisant quarante ans de carrière.
En 2012, il reçoit le Norman Mailer Prize(en). Peu après, il meurt d'un arrêt cardiaque lors d'une opération chirurgicale.
En 2017, OR Books publie Rosset: My Life in Publishing and How I Fought Censorship, son autobiographie.
