Au début de la Première Guerre mondiale, Rudolf Veiel a le commandement d'un escadron dans le régiment de dragons de réserve de Wurtemberg. Il sert dans ce régiment jusqu'à la fin de la guerre.
Après la Première Guerre, Rudolf Veiel est membre du Freikorps au Wurtemberg (1919). À partir du , il sert dans le 18erégiment de cavalerie (Saxe). À partir du , il commande un escadron dans le 10erégiment de cavalerie (Prusse). Il est promu au grade de major le . Dans la même année, Rudolf Veiel devient un adjudant dans la 3edivision de cavalerie (Reichswehr). Il sert dans cette division comme adjudant jusqu'au quand il devient oberstleutnant.
Du au , Rudolf Veiel commande le 18erégiment de cavalerie. Il commande ensuite la 2ebrigade de fusiliers jusqu'au quand il reçoit le commandement de la 2ePanzerdivision. Durant cette période, Rudolf Veiel est devenu oberst le , generalmajor le , et generalleutnant le .
Du au , après la défaite allemande aux portes de Moscou, Rudolf Veiel devient General der Panzertruppe. Il commande plus tard le XXXXVIII. Panzerkorps. Après le , Rudolf Veiel est nommé Chef des revitalisations au quartier-général du Heeresgruppe Mitte (Groupe d'armée Centre) et cela jusqu'au .
De au , il dirige la 5erégion militaire (Wehrkreis V) à Stuttgart. Il est relevé de son commandement à cause de sa complicité dans le complot du 20 juillet 1944 visant à éliminer Adolf Hitler. Le , il est versé dans la réserve (Führer-reserve) à la disposition au Haut-commandement.
Après la guerre, il passe deux années en captivité dans un camp de prisonniers américain. Il est libéré le . Il décèdera neuf ans plus tard, dans sa ville natale de Stuttgart, à l'âge de 72 ans.
(de) Fellgiebel, Walther-Peer (2000). Die Träger des Ritterkreuzes des Eisernen Kreuzes 1939-1945. Friedburg, Allemagne: Podzun-Pallas. (ISBN3-7909-0284-5).
(de) Scherzer, Veit (2007). Ritterkreuzträger 1939–1945 Die Inhaber des Ritterkreuzes des Eisernen Kreuzes 1939 von Heer, Luftwaffe, Kriegsmarine, Waffen-SS, Volkssturm sowie mit Deutschland verbündeter Streitkräfte nach den Unterlagen des Bundesarchives. Iéna, Allemagne: Scherzers Miltaer-Verlag. (ISBN978-3-938845-17-2).