ケンタッキー州レキシントンの出身。生まれた当時は奴隷の身分であり、7歳のときにケンタッキー州ミッドウェイ近郊にあるウッドバーン牧場の所有者、ロバート・A・アレクサンダーに売却された。
ブラウンは厩務員として働き、馬の繁殖と競走馬の調教などをここで学んでいった。ブラウンは足が速く、当時の有名な馬に因んで「ブラウン・ディック」と呼ばれていた[2]。
少年時代のブラウンの背丈はまだ低く、豊富な馬の知識も役立って、奴隷ながら騎手になる機会を得た。14歳の時に騎手として初騎乗を果たし、アステロイドという馬に乗って初勝利を挙げている。
翌年、ブラウンは南北戦争後に奴隷の身分から解放された。ブラウンは解放後もアレクサンダーのもとで従業員として残り、その所有馬の騎手を務めた。特にアステロイドは顕著な成績を収めており、出走した12戦ですべて勝利し、19世紀アメリカの最高の競走馬の1頭にも数えられた[2]。
アレクサンダーが1867年に亡くなり、その2年後にウッドバーン牧場のマネージャーであったダニエル・スワイガートが、自身のストックウッド牧場を設立するためにウッドバーン牧場の職を辞した。ブラウンはスワイガートの誘いに乗って、新たにスワイガートの馬に乗るようになった。その中での最大の成功は、1870年にキングフィッシャーで勝利したベルモントステークスであった。
しかし、ブラウンは成長するにつれて体重が増加し、平地競走では乗りづらくなってしまい、このため障害競走の騎手へと転向している。
その後1874年にブラウンは騎手を完全に廃業、スワイガートの馬を訓練する調教師に転向した。この時期の最高の成果は、1877年にバーデンバーデンで獲得したケンタッキーダービーであった。ブラウンはこのほか、のちのベルモントステークス優勝馬であるスペンドスリフトの2歳時や、のちの殿堂馬ヒンドゥーの2歳時も担当していた[2]。
ブラウンは後に様々な馬主に雇われ、その中には19世紀末の大馬主ミルトン・ヤングもいた。ヤングのもとでの主な活躍馬にはブルーウィングがおり、同馬は1886年のケンタッキーダービーでハナ差2着に食い込んだ。これらの功績から、ブラウンはケンタッキー州で大いに声望を集めていった[2]。
ブラウンはそれまで得てきた資産を使い、エド・ブラウン＆カンパニーという自前の厩舎を設立している。その相馬眼と知識により走る馬を見出し、1893年にはケンタッキーオークスをモンロビアで制し、さらに1900年にもエッタで再び制覇している。
ブラウンは他の資産家に比べて資本が少なく、このため才能のある馬を見抜いて調教し、これを大成させて他の資産家に売るというビジネスモデルを築いた。代表たる例がベンブラッシュで、同馬はアメリカ最優秀2歳牡馬に選出されたのちにドワイヤー兄弟に売却された。のちにベンブラッシュは、1896年のケンタッキーダービーで優勝している。
同様に、ブラウンはJ・D・ニートの生産したプローディトを購入し、これをジョン・マッデンに売却、その後同馬は 1898年のケンタッキーダービーで優勝している。売ることができなかった馬もおり、例えばベンブラッシュの同世代であるユリシーズなどがそれにあたり、そういう馬はブラウンが所有者としてダービーにも出走させたが、最下位に終わっている。
ブラウンはリウマチと結核を患っており、このため1903年に調教師業の引退を余儀なくされた。引退から3年後の1906年、ブラウンはケンタッキー州ルイビルで没した。新聞などで伝えられるところによると、ブラウンはケンタッキー州の黒人の中でも最も裕福な1人に数えられたというが[2]、その資金は競馬関係者に惜しみなくつぎ込んでしまったという[1]。
のちに黒人騎手や黒人調教師は競馬の世界から完全に消えてしまうが、1942年5月2日のデイリー・レーシング・フォームの記事においてブラウンの功績が再評価された[3]。
1984年、ブラウンはアメリカ競馬名誉の殿堂博物館によって「傑出した騎手であり、19世紀のトップトレーナーの1人」として表彰され、その殿堂入りが発表された[1]。
