Né dans une famille ouvrière pauvre, Piotr Gontcharov chantait dans des chœurs d'enfants pour gagner un peu d'argent, lors de mariages ou de funérailles.
Repéré par un professeur, il entra à l'école de Saint-Pétersbourg où il apprit la clarinette.
Lors d'un concert pour un mariage de l'aristocratie, il remplaça avec succès le chef absent, et fut très remarqué. Reinhold Glière s'intéressa alors à lui et lui donna des cours d'instrumentation, de lecture de partition et de direction d'orchestre. Gontcharov perdit la vue en 1921, et apprit dès lors toutes les partitions par cœur. Il devint néanmoins directeur de chant de l'opéra de Kiev. Sa conduite lors de l'occupation de Kiev par les Nazis lui fut reprochée après la guerre.
Il est passé à la postérité pour avoir composé deux chants religieux, Великая ектения et Кресту Твоему (Nous nous prosternons devant ta croix), qui sont pleinement rentrés dans la liturgie orthodoxe. Кресту Твоему a été notamment utilisé dans la bande originale du film La Jetée de Chris Marker.
