メイン州オックスフォード郡のディクスフィールド(Dixfield)の旧家に生まれた。ニューヨークのブラウン大学で画家のダニエル・ハンティントン（1816-1906）に学んだ後、1853年から1860年の間はヨーロッパに渡り、パリやローマで修行した。イタリアで活動していたアメリカ人画家、ウィリアム・ページ（1811-1885）らに学び、ページの娘と結婚した。1860年に帰国した後はボストンで働き、ハーバード大学やマサチューセッツ工科大学で美術を教えた。
1862年にカルフォルニアに招かれ、サンタバーバラの美術学校で教えた。1871年にワンデスフォルデ（Juan Buckingham Wandesforde: 1817–1902）らとサンフランシスコ芸術協会（San Francisco Art Association）の設立メンバーになり[4]
、初代会長になり、協会の美術学校であるカルフォルニア絵画学校（California School of Design）の校長になり、亡くなるまでその仕事を続けた。この美術学校は、後にSan Francisco Art Instituteとなった[1]。
画家としてはおもに風景画を描いた。
1886年にカリフォルニア州ナパ郡のセント・ヘレナ(St. Helena)で亡くなった。ウィリアムズが教えた学生には Harry Stuart Fonda[5] やJohn Marshall Gamble[6]らがいる。
,_by_Virgil_Williams.jpg)
