オークランドに生まれた。父親のデーヴィッド・ゴールディは成功した材木商人で、政治家として議員やオークランド市長を務めた人物である。母親はアマチュア画家で息子の美術活動を奨励し、ゴールディは少年時代からオークランド美術協会やニュージーランド美術学生協会で賞を得た。
学校を卒業した後、父親の仕事を手伝いながら画家のルイス・ジョン・スティール(Louis John Steele:1842–1918)から絵を学んだ[1]。スティールはイギリス生まれでパリ国立高等美術学校で学んだ画家で、1886年にニュージーランドに渡ってきていた。1891年にかつてのニュージーランド総督で博物学者のジョージ・グレイ（Sir George Grey）がオークランドでの展覧会に出展されたゴールディの静物画を見て、父親に外国へ留学させることを勧め、ゴールディはパリのアカデミー・ジュリアンに留学した[2]。
1898年に留学から帰るとスティールと"French Academy of Art" という名前のスタジオを立ち上げ、スティールと「The Arrival of the Māoris in New Zealand（マオリのニュージーランド到着）」という歴史画の大作を共作し、この作品は有名になった[3][1][4] [5]。
その後しばらくしてスティールとの協力は解消し[4][1]、スティールは独立したスタジオをつくり、1901年からマオリの人々を描き始めた。現地にいって、スケッチしたり、写真を撮ったりした。しばしば金を払って、オークランドを訪れるマオリの人々にモデルを頼んだ。モデルになったのは、マオリ土地裁判所（Māori Land Court）に訴訟のために来た酋長たちであった。マオリの伝統風習であるの刺青をした人物も描いたが、ゴールディの時代でも刺青をするのは高齢の世代になっていてマオリの社会の高位の人物だけであった。
マオリの人々と友人になり、集会所（マラエ）でマオリとすごしマオリ語で話せるようになった。
1935年にジョージ5世即位25周年記念銀メダル（King George V Silver Jubilee Medal）を受勲し[4][1]、その直後に大英帝国勲章（オフィサー）も受勲した[6]。
