Downey nació en Argentina, en una familia ganadera de inmigrantes británicos. Pasó la mayor parte de su niñez temprana en la Argentina, dirigiéndose a Inglaterra para asistir a la escuela secundaria. Al graduarse de la escuela navegó a Kenia, donde encontró un trabajo en una plantación de café fuera de Nairobi.[2]
Downey se convirtió en un cazador profesional en 1933 cuando se unió a la "Safariland" de Leslie Tarlton. En los primeros días con la compañía, Downey trabajó con Philip Percival en varios safaris como su segundo cazador.[3] Percival se convirtió rápidamente en el mentor de Downey.[4] Downey pronto conoció a Ronald Ker, otro cazador keniano con el que desarrolló una rivalidad. Durante la década de 1930, Ker y Downey eran conocidos por haber abierto gran parte del Masái Mara a la caza. Sin embargo, ambos cazadores tomaron un descanso de su comercio cuando la Segunda Guerra Mundial estalló en 1939, uniéndose al esfuerzo británico en África oriental contra los italianos.[3]
La guerra en África se estaba acabando y los británicos derrotaron con éxito a los italianos en Etiopía, tomando de nuevo la ciudad de Addis Abeba. Fue en este momento que Ker y Downey se reunieron de nuevo, durante una "reunión improvisada de la Asociación de Cazadores Profesionales de África Oriental", en un bar de Addis Abeba. Durante su reunión, Ker presentó a Downey la idea de entrar en el negocio juntos tan pronto como la guerra terminara.[2] Cuando terminó la guerra, los dos mantuvieron sus promesas y fundaron "Ker and Downey Safaris Ltd". Su primer safari de pago fue para la película The Macomber Affair, protagonizado por Gregory Peck y Joan Bennett.[5] Contrataron a algunos de los cazadores de África Oriental más conocidos, incluyendo a Harry Selby, y la compañía se convirtió en "Ker, Downey and Selby Safaris", ya que Selby amplió la operación en Botsuana. Sin embargo la sociedad con Selby no duró mucho tiempo. Ker y Downey habían estado alejándose de los safaris de caza y dirigiendo la compañía hacia viajes fotográficos, ya que ninguno de ellos disfrutaba especialmente matando animales, sino prefiriendo la persecución. Downey finalmente se hizo conocido tanto por su conservación de especies como por su caza.[6]
