La mosquée tient son nom d'un dignitaire religieux: Abû Marwân, qui arriva dans la ville de Annaba dans les années 1087 ; il mourut en 1111. C’est certainement durant ces années que la mosquée lui fut dédiée. L’architecture de cette mosquée mêle influences zirides, aghlabides, fatimides et sanhajides.
G. Marçais voit dans son plan un prolongement tardif et excentrique de l’architecture ifrîqiyyenne du IXe siècle, en raison de sa ressemblance avec la grande mosquée de Kairouan. Les vieilles estampes qui montrent l’aspect originel de la mosquée avant sa transformation en hôpital à l’époque coloniale, attestent de cette forte ascendance aghlabide. La façade de la salle de prières avec ses colonnes couplées au niveau de la nef axiale, la coupole côtelée se dressant au-dessus du narthex et dans l’axe du mihrâb, la nef centrale plus large, semblent être des variations du style architectural kairouanais. Son plan présente un rapport d’une valeur de 2,2 entre la profondeur et la largeur, proche de celui que l’on trouve à la Grande Mosquée de Sfax du Xe-XIe siècle.
La salle de prière hypostyle comporte sept nefs perpendiculaires et sept parallèles au mur qiblî déterminant ainsi des arcs dans les deux sens, particularité de plusieurs édifices de Tunisie (Grande Mosquée de Sousse), de Libye (mosquées d’Ahmed Pacha et Georgi) et d’Espagne (petite mosquée Bâb al-Mardûm de Tolède). La cour était entourée de portiques.
Le minaret quadrangulaire aux trois fûts superposés ressemble beaucoup au minaret de la Grande Mosquée de Sfax. Sa partie inférieure abrite un petit oratoire doté d’un mihrâb. Le seul monument possédant une tour avec salle de prière est la tour Khalaf de Sousse mais ce n’est pas un minaret. La mosquée de Abû Marwân serait l’unique mosquée connue possédant une salle de prière dans son minaret.
Les mosquées algériennes présentent des colonnes groupées. Celle d’Annaba, avant sa transformation en hôpital, était dotée de deux groupes de deux colonnes soutenant les coupoles du narthex et deux groupes de trois au niveau du mihrâb. Celui-ci se compose d’une niche curviligne en forme d’arc outrepassé comme dans les mosquées d’al-Azhar (Le Caire), de Tunis, de Sfax et de Sousse. La salle de prière est couvertes en voûte d’arêtes comme à la mosquée ziride de Sfax, mode de couverture qui s’imposa au Xe siècle et se maintint jusqu’au XIe siècle. Les merlons du minaret sont en forme d’arc brisé comme ceux de la tour du Ribat à Sousse.
La mosquée de Abû Marwân était dotée de deux coupoles surmontant le narthex, qui ont disparu après 1830. Leur dôme décoré de godrons en zigzag évoquait ceux de la mosquée de la Qarawiyyin de Fès et la Qubbat ibn al-Qhaoui de Sousse. Les plus anciens dômes qui apparaissent nettement dans les mosquées d’Algérie sont ceux d’Annaba : ils étaient ovoïdes comme celui de la Coupole du Rocher à Jérusalem et probablement ornés de cannelures comme à la Qubba de Sousse. La mosquée compte une riche collection de chapiteaux zirides de décors variés comme ceux que l’on trouve à Sousse, Monastir et Sabra al-Mansuriyya et qui dériveraient de chapiteaux coptes conservés au musée du Bûlaq selon Marçais, tandis que Lézine y voit une parenté avec les chapiteaux omeyyades de Syrie et ceux de l’Égypte pharaonique.
