Il est le troisième fils de ConradIer (mort en 997), comte d'Öhningen en Souabe, et de son épouse Richlinde (morte en 1035), probable fille du duc Liudolf de Souabe et petite-fille de l'empereur OttonIer. Selon une autre théorie, sa mère est Judith, fille du comte Adalbert de Marchtal. En 983, son père est nommé duc de Souabe par l'empereur OttonII, possiblement son beau-frère. Il porte le titre de «duc de Souabe et d'Alsace» à partir de 988.
Conrad est connu comme étant le premier duc conradien de Souabe à avoir gardé le titre en famille. Effectivement après sa mort le , son fils Hermann lui succéda.
Ne faisant pas partie du cercle le plus étroit autour de l'empereur OttonIII, il l'accompagne néanmoins lors de la campagne d'Italie en 997. Après la mort prématurée d'Otton III, en 1002, il fut un des compétiteurs au trône du Saint-Empire romain en tant que roi des Romains et, soutenue par un certain nombre de princes dont l'archevêque Héribert de Cologne, peut légitimement espérer prendre la succession. Le , toutefois, son rival le duc Henri IV de Bavière, cousin d'Otton, est élu roi à Mayence.
Hermann n'accepte pas la décision et fomenta une révolte. Il prit d'assaut Strasbourg dont l'évêque Werner de Habsbourg s'était déclaré pour le duc Henri. Cette attaque a suscité une vive indignation des princes. Le à Bruchsal, enfin, il devait se soumettre et a dû payer une indemnité. Henri sépara l'Alsace de la Souabe afin de prendre le contrôle du duché, une situation qui continua cependant lorsque son fils HermannIII régna.
Hermann II meurt peu après. Avec la mort de son fils Hermann III en 1012, la lignée conradienne des ducs de Soaube s'éteint. Le duché échoit ainsi à Ernest de Babenberg, le mari de sa fille Gisèle.
↑Anthony Stokvis, Manuel d'histoire, de généalogie et de chronologie de tous les États du globe, depuis les temps les plus reculés jusqu'à nos jours, préf. H. F. Wijnman, Israël, 1966, chapitre VIII «Généalogie des ducs de Souabe» tableau généalogique n° 86 p.218.
