Conrad est un fils (ou petit-fils) d'Udo Ier(mort en 949), comte dans la Wetterau en Franconie, lui-même fils du duc Gebhard de Lotharingie, frère du duc Hermann Ier de Souabe et un cousin du roi Conrad Ier de Germanie. Udo était marié à une fille du comte Herbert Ier de Vermandois, appelée Cunégonde (morte en 943) ou Adèle.
Quand le duc Otton Ier de Souabe, neveu de l'empereur Otton II, meurt pendant une campagne en Italie en 982, il n'a aucun héritier. Afin de remplir ce poste vacant, Otton II désigne Conrad au Hoftag de Vérone l'année suivante comme duc de Souabe (dux Alemannorum et Alsatiorum). Ce dernier est connu comme étant le premier duc souabe à avoir gardé le titre en famille. Effectivement après sa mort en 997, son fils Hermann II lui succéda.
Certaines confusions demeurent quant à la famille de Conrad car l'identité de son père et de sa mère n'est pas certaine. D'ailleurs cette situation est la même concernant sa femme, bien qu'il soit possible qu'il s'agisse de Richlinde (morte après 1007), une fille du duc Liudolf de Souabe et petite-fille de l'empereur Otton Ier (cf. l'article Liudolf). Selon une autre théorie, il est marié à Judith (Jutta), fille du comte Hermann de Pfullingen, sœur de l'évêque Wolfgang de Ratisbonne et petite-fille du duc Arnulf Ier de Bavière.
Il eut au moins six enfants, dont :
