En 1024, Serge IV se soumet à Pilgrim, l’archevêque de Cologne, lorsque ce dernier assiège Capoue au nom de l’empereur Henri II, alors que son propre duché n’est pas menacé. Cette posture lui vaut une réputation de faiblesse aux yeux du prince Pandolf IV de Capoue, surnommé le Loup des Abruzzes, qu’avait vaincu Pilgrim. En 1026, Pandolf, de retour de captivité, assiège son ancienne capitale, sur laquelle règne désormais Pandolf V, comte de Teano. Basile Boioannes, le catépan grec d’Italie, négocie une reddition et remet à Pandolf V un sauf-conduit pour Naples, où Serge lui offre l’asile. En agissant ainsi, Serge s’attire l’hostilité de Pandolf IV. Dès l’année suivante, en 1027, après que Boioannes a été rappelé à Byzance, Pandolf attaque Naples et s’en empare rapidement. Pandolf V fuit à Rome et Serge se cache.
Pour Serge IV, cependant, la fortune sourit à nouveau quand l’allié normand de Pandolf IV, Rainulf Drengot, l’abandonne en 1029. Serge et le duc de Gaëte, Jean V, dépêchent une ambassade au Normand pour requérir son concours dans la reconquête du duché napolitain. Avec l’aide de Rainulf, Pandolf IV est chassé de Naples et Serge réinstallé. Le duc donne alors en récompense à Rainulf l'ancienne place forte byzantine d'Aversa, l'en nomme comte, et lui donne sa sœur en mariage. Rainulf installe dans ce nouveau comté d'Aversa bon nombre des siens errant sans but dans le sud de l'Italie et fait même appel à de nombreux compatriotes qui viennent s'y installer: c'est le premier établissement permanent des Normands du duché en Italie, et en Méditerranée.
En 1034, Pandolf IV suscite une révolte à Sorrente et l’annexe à Capoue. La même année, la sœur de Serge meurt et Rainulf se rallie à nouveau à Pandolf. Abattu, Serge se retire au monastère du Saint-Sauveur in insula maris, où l’on trouve aujourd’hui le château de l’Œuf. Son fils, Jean V, lui succède. Quand Jean entreprend le voyage de Constantinople pour chercher l’aide des Byzantins, Serge sort brièvement de sa retraite pour agir en tant que régent du duché de Naples. Au retour de Jean, Serge réintègre son monastère, où il vit toujours en . Il meurt vraisemblablement peu de temps après. Sa brève sortie du monastère explique pourquoi Aimé du Montcassin fait référence au fait qu’il soit devenu deux fois moine.
