Sorti diplômé de l'université Harvard en 1902, date à laquelle il reçoit un million de dollars de la succession de son père.
Il devient «une force majeure dans le développement des chemins de fer, des hôtels et de l'immobilier américains», et est directeur de la Chemical Bank(en), de la New York Trust Company(en), de la City Investing Company, de la Fifth Avenue Corporation et de la Real Estate Mortgage Commission.
Après la mort de sa mère en 1929, reconnaissant le changement dans le quartier de résidentiel à commercial, il fait démolir la maison familiale, 608 Fifth Avenue(en) à New York, et commande à Victor L.S. Hafner la conception du 608 Fifth Avenue actuel.
Goelet décède à son domicile, 4 East 66th Street à New York, le . Ses funérailles ont lieu à St. Thomas et il est enterré au Cimetière de Woodlawn. Sa fortune est de 50 millions de dollars au moment de sa mort.
Glenmere
Le , Goelet épouse Marie Elise Whelen (1880-1959), fille du banquier Henry Whelan Jr. et belle-sœur de Craig Biddle. Divorçant en 1914 (elle s'est ensuite remariée avec l'artiste Henry Clews Jr.(en) et déménage au château de la Napoule), ils sont les parents de:
Ogden Goelet (1907-1969), époux successif de Florence Enid Connfelt, de Maria Virginia Zimbalist (fille d'Alma Gluck et d'Efrem Zimbalist), de Mimi Nicholson Browne (remariée à John Philip Cohane puis à Florian de Kergorlay) et de Sarah Sherborne Haigh
Peter Goelet (1911-1986)
Le , en l'église américaine de Paris, il se remarie avec Donna Fernanda Rocchi (1885-1982), ancienne épouse du prince Nicolas Riabouchinsky, un ami proche de Goelet. Ils divorcent en 1924 et elle est plus tard connue sous le nom de duchesse de Villarosa. Ils ont un fils:
Robert Wilson Goelet, Jr. (1921-1989), producteur de films, époux de Jane Potter Monroe (remariée à Llewellyn Thompson(en)), puis de Lynn Merrick.
Le , il épouse Roberta Willard (1891-1949), fille du colonel Joseph Willard. Ils sont les parents de:
Mary Eleanor Goelet (1927-1994), époux du banquier James Eliot Cross puis d'Harold C. King.