Issu de la famille Dor de Lastours, Élie Dor de Lastours est le fils aîné du comte François Dor de Lastours et de Suzanne Baylin de Monbel. Il passe sa jeunesse au château de Lastours à Castres. Il réalise ses études secondaires à l'école Gerson de Paris, puis au couvent de l'Immaculée Conception de Toulouse.
En poste de diplomate à Londres, en tant que troisième secrétaire de l'ambassade, il est apprécié par Paul Cambon.
Mis en disponibilité en 1912, il devient député du Tarn le 14 décembre 1919, par 30 673 voix sur 77 789 votants. La même année, il se marie avec épouse Marguerite Gérard (fille du député Maurice Gérard et petite nièce du peintre François Gérard) avec qui il a six enfants, Henry, Béatrix, Françoise, Josèphe, Suzanne et Thérèse.
Sportif aguerri, il excellait en escrime et en tennis. En 1900, il a participé au tournoi international de l'île de Puteaux en double qui sera reconnu comme épreuve olympique. Il est également devenu le premier français à participer au tournoi de Wimbledon en 1908 où il joue en simple et en double avec son compatriote Pierre Verdé-Delisle(en).
