Son père, Jean-Louis Destors, cultivateur, est mort en 1826 à l'âge de 45 ans, laissant cinq enfants: deux fils et trois filles.
Sa mère, Suzanne-Louise Sanson-Duperron était la fille de Louis Sanson-Duperron, ancien avocat aux Conseils du roi, ancien avocat du Clergé et de la ferme Générale, ancien juge de paix de la section Mauconseil à Paris et des cantons de Gonesse et d'Écouen pendant la Révolution.
L'arrière-grand-père maternel, Desbois de Rochefort, était médecin du roi sous Louis XV et Louis XVI. La famille, plus ancienne encore, était une noblesse de robe.
Élevé à la pension Plé, de Gonesse, il fut choisi vers sa dixième année, après la mort de son père, par la famille de Charpin-Feugerolles, habitant Fontainebleau, pour être le condisciple et l'émule du fils de Charpin-Feugerolles. Ce choix avait été fait sur la recommandation de M. l'abbé Liautard (plus tard fondateur du collège Stanislas), curé de Fontainebleau.
Élevé dans cette famille, il commence ses études d'architecture, son camarade Feugerolles se destine à la politique.
Il est reçu à l'École des beaux-arts en 1836.
En 1838, il entre à l'atelier dirigé par M. Debret. Il y est attaché comme dessinateur pour les travaux de l'église royale de Saint-Denis. Il y reste neuf ans et en 1847 est nommé sous-inspecteur.
En 1842, il concourt pour la construction d'un hôpital à Meaux et remporte la 1remédaille.
Il épouse Madeleine-Marie-Celine Guibout en 1843. Le couple a une fille, Marie-Denise-Amelie (née en 1848, Mme Félix Simonnot) et un fils qui mourut en , à Cannes, à l'âge de 25 ans.
La même année, moins de six mois après, sa fille, Mme Simonnot, mourut à son tour laissant trois enfants.
Veuf en 1858, il épouse en 1861, la cousine germaine de sa première femme, Mme veuve Alphonse Godet, qui avait eu d'un premier mariage deux enfants: un fils, Émile et une fille.
En 1881, il est nommé Président du Cercle des Maçons et Tailleurs de Pierre. On lui doit une monographie sur Davioud.
La mort l'a surpris dans la construction d'une importante maison de rapport, située à l'angle du boulevard Haussmann et de la rue d'Antin.
Réaménagement d'un hôtel particulier 63 rue de Monceau à Paris (VIIIe) pour le comte Nissim de Camondo, vers 1871, détruit en 1910 pour laisser la place à l'hôtel actuel.
Maison 6 avenue du Belloy au Vésinet (Yvelines), vers 1867: L’architecture associe la morphologie d’un chalet à un décor néogothique, reprenant le type des maisons de garde du bois de Boulogne.
Hôtel Hecht (aujourd'hui hôtel du Rectorat) à Strasbourg, quai Kléber (1855).
