Paul Girardet est le fils de Samuel Charles Girardet, artiste graveur (1780-1863) et de Fanny Charlotte Favre. Ses frères Karl Girardet (1813-1871) et Édouard Girardet (1819-1880) deviendront artiste peintre.
Il épouse en 1850 Anna Louise Alexandrine Sandoz (1825-1884). Le couple donne naissance à une famille d'artistes: Julia Antonine (ép. Burnand, 1851-1921), Eugène (1853-1907), les jumeaux Jules (1856-1938) et Léon (1856-1895), Paul-Armand (1859-1915) et Théodore (1861-1935).
