Era hijo del Oberstuhlrichter (administrador del distrito) Alexius Báky y de su mujer Blanca, de soltera Pal. Incluso antes de graduarse de secundaria, trabajó como proyeccionista. Josef von Báky se graduó en la Universidad Técnica de Budapest desde 1920. Después dirigió un hotel en el mar Adriático en nombre de un banco húngaro y participó en una distribución de películas.
En 1927 se trasladó a Berlín, trabajó como figurante y comenzó su carrera artística como ayudante de dirección de Géza von Bolváry.[2] En 1936 debutó como director de largometrajes con Intermezzo. Se hizo un nombre en dramas mediambientales (Die Frau am Scheidewege, Die kleine und die große Liebe) y en 1941 consiguió su gran éxito comercial con Annelie. Esto significó que se le permitiera dirigir la película de aniversario de la Universum Film AG Münchhausen en 1943. Erich Kästner escribió el guion de la superproducción (aunque bajo un pseudónimo por falta de permiso de escritura), Hans Albers interpretó el papel principal y muchas estrellas de la UFA como Ilse Werner, Brigitte Horney y Leo Slezak participaron al reparto.
Después de la Segunda Guerra Mundial von Báky fundó la Objectiv-Film GmbH, con la que produjo las dos trümmerfilm … und über uns der Himmel y Der Ruf, con la que participó el 3º Festival Internacional de Cine de Cannes.[3] Después de eso, von Báky continuó rodando películas socialmente críticas como Die Frühreifen, la biografía empresarial Hotel Adlon y Die seltsame Gräfin de Edgar Wallace . Para su adaptación de Kästner Das doppelte Lottchen en 1951 ganó el Filmband in Gold a la mejor película de 1951.
Josef von Báky estaba casado con la cantante húngara Julia Nemeth desde 1928.
