Après des études au Mans, il gère la librairie Julien-Lanier à Paris, de 1851 à 1858. Il crée ensuite la maison Victor Palmé, Éditeur au 25 rue de Grenelle-Saint-Germain puis déménagea au 76 rue des Saints-Pères : il se spécialise dans les écrits catholiques, publiant les études de la Société des Bollandistes.
Palmé était très proche du cardinal Pitra (qui lui inspira la collection des Petits Bollandistes[3]), de Léon Gautier et de Henri Lasserre.
En 1865[4], il reprend la publication de l’Histoire littéraire de la France. Il participe également à la réédition, à partir de 1867, du Recueil des historiens des Gaules et de la France[5]. Par la suite, il s'associe à la Société générale de Librairie catholique, coéditant parfois des ouvrages judéophobes ou papistes.
Il est également l'éditeur de Louis Veuillot ainsi que de Paul Verlaine pour le recueil Sagesse (1880) repris ensuite par Léon Vanier.
