De 1936 à 1939, Koller étudie à l'Université de Vienne puis rejoint les forces armées de 1940 à 1946. Après la fin de la Seconde Guerre mondiale, il rentre à Vienne et fonde le Hot-Club de Vienne.
En 1970, Koller rentre à Vienne où il forme un groupe, Free Sound, puis travaille avec l'International Brass Company.
De 1997 à 2009, un prix Hans Koller(de), décliné en plusieurs catégories (musicien, espoir, album et sideman de l'année), est décerné par l'Austrian Music Office.
Références
Klaus Schulz, The New Grove Dictionary of Jazz. ed. Barry Kernfeld, 1994, pp.659–660.
