François Bérenger est le troisième enfant de Jean Bérenger (1861-1906) et de Marie Guibert (1874-1925), après ses sœurs Antonia (1897-1932) et Jeanne (1898-1964).
Il épouse en premières noces Cécile Troullier (1903-1944), en 1929 à Bizerte, en Tunisie, où vit alors la famille de la mariée. Ensemble, ils ont six enfants: les jumeaux Jean (1930-2017) et Pierre (1930-2020), Anne (1932-2018), Paule (1933-2006), Claude (1934-2012) et Michel (1938-1944). Ils s’installent à Valence en 1932. En pleine période d’Occupation nazie, Cécile meurt de maladie brutale en , à l’âge de quarante ans, un mois avant la mort de leur fils cadet, Michel, des suites de l'explosion d'une bombe américaine, en , l’année de ses six ans.
Il épouse ensuite la sœur cadette de sa première femme, Marguerite Troullier (1918-2013), en 1946 à Valence. De leur union, naissent deux enfants; Martine (1947-2024) et Dominique (né en 1948).
Son fils Claude, également architecte, reprendra son cabinet à Valence. L'une des petites-filles de Claude, Chloé Bérenger, née en 1996, deviendra elle aussi architecte.
