アイルランド東部、ウェックスフォード県で双子の兄弟の一人に生まれた。父親は小さな農園を所有していたが、1807年に亡くなり、家族はダブリンに移った。ダブリンの王立協会の絵画学校で、風景画家のジェームズ・アーサー・オコーナー（James Arthur O'Connor: 1792–1841）から絵を学んだ。画家、学者になるジョージ・ペトリー（George Petrie: 1790–1866）と知り合った。
1813年にオコーナー、ペトリーとともにロンドンに出て画家としての活動を始めようとしたが、資金不足になり、歩いて帰国することになった[2]。ブリストルまで戻った後、ダンビーはブリストルで水彩画を描いて、収入が得られそうであったのでそこに留まることにした[3]。
1818年か1819年頃からエドワード・バード（Edward Bird: 1772-1819)を中心に形成された「ブリストル派」と呼ばれる画家グループの一人となり、そのグループの中心的存在となり、ブリストル近郊の風景を描いた[4]。1820年にロンドンの民間展覧会「British Institution」に作品を出展し、1821年にロイヤル・アカデミー・オブ・アーツの展覧会に作品を出展した。1824年からロンドンで活動し[5]、ロンドンではウィリアム・ターナーやリチャード・ウィルソンといったイギリス風景画のパイオニアたちの作品のスタイルからも影響を受けた。
1825年にノルウェー、1828年にオランダとベルギーを旅した。1829年に妻が画家のポール・ファルコナー・プール（Paul Falconer Poole: 1807–1879) と駆け落ちしたことなどから[6] イギリスを離れ、パリに移り、その後ジュネーブに住み1840年にイギリスに戻った。
1847年にデヴォンのエクスマウス(Exmouth)に移り、1861年にそこで67歳で亡くなった。彼の息子のジェームズ・フランシス・ダンビー（James Francis Danby (1816–1875 とトーマス・ダンビー（Thomas Danby: 1817–1886) も画家になった。
