En 1861, il est étudiant à Bonn lorsqu'il se bat en duel et tue son adversaire. Pour ne pas être arrêté, il doit se réfugier en Belgique, dans la ville de Spa.
Chargé de mission en Sibérie (1875), il est nommé attaché d'ambassade à Pékin (1875-1876), il devient consul intérimaire à Canton de 1876 à 1880.
En 1891, il était consul général de France, chargé d'affaires en Bolivie.
Duelliste redouté, c'est aussi une figure de l'aristocratie parisienne. Léon Daudet raconte dans ses souvenirs littéraires que Proust faillit se battre en duel sur un malentendu à la brasserie Weber de la rue Royale (Paris): «Messieurs, sachez que je n'ai jamais eu la moindre intention d'insulter Monsieur Proust. D'ailleurs, je ne le connais pas, mais cette façon d'avoir la tête près du bonnet me le rend sympathique».[1]Leur ami commun Robert de Flers les réconcilia après cet affrontement verbal.
Il est initié à l'art lyrique par son cousin, Georges de Lagrené, directeur de l'Alhambra (Paris) de 1883 à 1885. L'opéra populaire Faust (Gounod) sera repris dans cette salle.