Il est diplômé de l'Université de Georgetown en 1922. De à , il est rédacteur en chef à Paris de la revue littéraire américaine Transition. De 1935 à 1946, il est conservateur du Museum of Modern Art de New York[1]. Il est le deuxième directeur du Musée Solomon-R.-Guggenheim, de 1952 à 1960. Au cours de son mandat, il élargit la portée de la collection pour inclure la peinture expressionniste abstrait ainsi que la sculpture et crée le Prix International Guggenheim (en) en 1956. Il a également participé aux dernières années de la construction du bâtiment du musée conçu par Frank Lloyd Wright[2].
Il a collectionné et rassemblé des œuvres d'Alexander Archipenko, de Constantin Brâncuși, d'Alberto Burri, Alexander Calder, de César, d'Alberto Giacometti, de Lucio Fontana, David Hayes, Willem de Kooning, Fernand Léger, Joan Miró, Piet Mondrian, Pablo Picasso, Jackson Pollock et Pierre Soulages[3].
James Sweeney est mort le à Manhattan[4].
