Koga nació en Hailar, en la entonces región de Manchuria, de padre japonés y madre rusa. Tras la Segunda Guerra Mundial, su familia se mudó a Kyushu, Japón, y el joven Victor fue enviado a vivir con parientes en Tokio. Allí comenzó su carrera marcial cuando se unió al club de lucha amateur de la universidad de Nihon, donde estudiaba medicina. Su actividad en este deporte fue especialmente distinguida, participando en el Festival Nacional de Deportes de Japón y en el propio campeonato nacional. Luego, tras graduarse, entrenó judo en el dojo de Riichiro Watanabe en Yokosuka.[1]
En 1965, Koga obtuvo la colaboración de su colega en la lucha y el judo, Ichiro Hatta, para introducir el arte marcial ruso del sambo en tierras niponas, formando así la Federación Japonesa de Sambo. Koga se desplazó a la Unión Soviética a fin de entrenar en este estilo, y a continuación viajó por numerosos países para promover su enseñanza antes de regresar a Japón. Diez años después, como recompensa por su labor, se le concedió el título de Maestro de los Deportes en sambo.[1] Entre sus aprendices más conocidos se encontraría Satoru Sayama, fundador de la primera promoción de artes marciales mixtas de la historia, Shooto.[2]
Koga falleció en noviembre de 2018.[3]
