Charles Malherbe nait à Paris, il est le fils de Pierre Joseph Malherbe (1819–1890) et Zoé Caroline Mozin (1832–1921), plus jeune fille du peintre Charles Mozin. Il étudie le droit et est admis au barreau, mais décide finalement de se consacrer professionnellement à la musique. Il étudie la musique avec Adolphe Danhauser, Jules Massenet et André Wormser[1], et devient secrétaire de Danhauser lors d'un voyage aux Pays-Bas, en Belgique et en Suisse consacré à l'étude de l'enseignement de la musique dans les écoles publiques. Il s'installe ensuite à Paris, où il devient en 1896 l'assistant de Charles Nuitter, bibliothécaire-archiviste de la Bibliothèque de l'Opéra. Il lui succède en 1899[1]. Il devient rédacteur du périodique musical Le Ménestrel et écrit également dans d'autres publications sur la musique, dont Le Guide musical, Progrès artistique, Revue internationale de musique and Le Monde artiste[2],[3].
À partir de 1895, il se lance dans un vaste travail d'édition des Œuvres complètes de Rameau[1],[4]. Il se lance, en collaboration avec Felix Weingartner, dans la première édition des œuvres complètes de Berlioz[1],[5]. Bien que truffée d'erreurs, et guère plus utilisée de nos jours, elle sert à l'époque de référence[2].
Malherbe est également un collectionneur important de manuscrits et documents musicaux. Sa collection est extrêmement renommée de son vivant, et il y consacre une grande partie de sa fortune personnelle, enrichissant parfois au passage la bibliothèque de l'Opéra sur ses propres fonds[1]. Outre des milliers de lettres autographes, il possède un certain nombre de manuscrits importants, dont soixante-quinze manuscrits de Beethoven (comprenant notamment quelques pages autographes de la Neuvième symphonie)[6],[1], les partitions autographes de la Symphonie fantastique de Berlioz, deux cantates de Rameau et plusieurs cantates de Bach[2], une vingtaine d’esquisses de Haydn, une cinquantaine de Schubert, autant de Schumann, une trentaine de Mendelssohn. Il possède également un certain nombre de manuscrits de Liszt [7], Gluck, Vivaldi, Telemann, Galuppi, Boccherini, Chopin, Wagner ou encore Bruckner. Il recueille des manuscrits de ses contemporains dont Saint-Saëns, Debussy, Lalo, Franck, Chabrier, Chausson, Massenet, Fauré, d’Indy pour les français; et Moussorgsky, Tchaïkovsky, Smetana, Grieg pour les autres nationalités[1].
Il a retrouve la partition orchestrale originale de l'opéra Guillaume Tell de Rossini chez un bouquiniste[8]. En 1901, il localise des œuvres de Mozart jusque-là non cataloguées, dont un air de soprano de l'opéra Mitridate, re di Ponto, écrit à l'âge de 14 ans et une Élégie en fa pour deux sopranos écrite à l'âge de 11 ans[9].
Il publie plusieurs ouvrages, parfois avec Albert Soubies, dont le Précis de l'histoire de l'Opéra-Comique en 1887, ou encore des ouvrages sur Wagner[1].
Il meurt à Cormeilles, dans l'Eure, à l'âge de 58 ans, en 1911, et sa collection est léguée au Conservatoire de Paris . Une grande partie de ces manuscrits est aujourd'hui conservée à la Bibliothèque nationale de France[6], dont ils constituent le cœur de la grande réserve du Département de la musique[1].