Heinz Billing se crio en el seno de una familia burguesa. Su padre Walter Billing estuvo director de una escuela primaria de las niñas; después de la Segunda Guerra Mundial fue cofundador del Partido Liberal Democrático de Alemania y alcalde en Salzwedel. Heinz Billing se saltó los dos grados iniciales de la escuela elemental. En 1932 concluidó su bachillerato en Salzwedel. Estudió matemáticas y física
en Gotinga y Múnich, en 1938 obtuvo su doctorado con el predicado summa cum laude, su tesis se trataba los rayos canales. En el marco de este trabajo Billing efectuó el Spiegeldrehversuch (experimento del espejo girado) propuesto por Albert Einstein en 1926, con que se pudo confirmar la dualidad onda corpúsculo.
Comenzó su carrera profesional en Gotinga en la Aerodynamische Versuchsanstalt (AVA) (estación experimental para la aerodinámica), una institución junto con el Kaiser-Wilhelm-Institut für Strömungsforschg (Instituto Kaiser Wilhelm para la exploración de flujos). Unos meses después, en noviembre de 1938, fue llamado a cumplir el servicio militar regular por un período de tiempo superior al previsto a raíz del comienzo de la Segunda Guerra Mundial. A principios de 1941 gracias a la intervención de su superior en la AVA fue eximido del servicio militar, así podía reanudar su actividad en la AVA, pero sobre un tema considerado como estratégicamente crucial: El desarrollo de un micrófono capaz de suprimir el sonido propio del propulsor de un avión militar. Su solución del problema, la cancelación activa de ruido por medio de una grabación magnetófonica funcionaba solo en el laboratorio, no en el avión.
El 3 de octubre de 1943 se casó con Anneliese Oetker en Salzwedel. Billing tiene tres hijos: Heiner Erhard Billing, Dorit Gerda Gronefeld nacido Billing y Arend Gerd Billing.
Tras la Segunda Guerra Mundial, la AVA fue desmantelado parcialmente. En los mismos locales se instaló en el mayo de 1946 con el apoyo de las Fuerzas Británicas de ocupación el Institut für Instrumentenkunde (Instituto para la Instrumentación) donde Billing estableció un laboratorio para la tecnología de alta frecuencia. Al final del verano de 1947 tuvo lugar en Gotinga un coloquio sobre los últimos desarrollos en el campo de la computación automatizada. Entre los participantes figuraban los británicos John Roland Womersley, Arthur Porter y Alan Turing, por la parte alemana Konrad Zuse y Heinz Billing. Aunque las intenciones británicas más bien pretendían conocer los desarrollos alemanes, Billing aprendía mucho sobre los proyectos informáticos en los Estados Unidos y en el Reino Unido, especialmente sobre las tecnologías de almacenamiento y el uso de las cifras binarias.
La Sociedad Max Planck otorga bienalmente el Heinz-Billing-Preis zur Förderung des wissenschaftlichen Rechnens (Premio Heinz Billing para la promoción de la computación científica(de)).
