Quelques tessons de l’époque chalcolithique (vers 3500 av. J.-C.) et des restes de maisons du début du IIIe millénaire av. J.-C. attestent d'une occupation humaine précoce date approximative de la fondation de la cité de Jébus par le Jébuséens.
L'Ophel appelée aussi « la Sion primitive », ou « cité de David », était l'antique acropole cananéenne.
David y fit transporter l'Arche d'alliance (Bible: 2 S 6,10-12). Plus tard, le roi Salomon ramena l'Arche d'alliance dans le temple qui porte son nom sur le mont du Temple (Bible: 1 R 8,1).
Au VIIIe siècle av. J.-C., grâce à l’afflux de réfugiés venus du nord (l’ancien Royaume d'Israël fut transformé en province assyrienne aux environs de 722-720 av. J.-C.), le roi Ézéchias l'utilise comme main d’œuvre pour renforcer de fortifications la colline et faire de grands chantiers. Ainsi il est écrit dans le Deuxième Livre des Chroniques « Ézéchias dit de préparer Ophel, et il l'éleva à une grande hauteur » (2 Chro 31:10 / 33:14). Puis, il est écrit dans le livre de Néhémie qu'il la fit fortifier par une puissante muraille et fut occupée par les Nethinim au IVe siècle av. J.-C. : « Or les Nathinéens demeuraient à Ophel, jusqu'en face de la porte des Eaux vers l'orient, et jusqu'à la tour en saillie » (Ne 3,26). « Les Nathinéens demeurèrent aussi dans Ophel; et Siaha et Gaspha étaient chefs des Nathinéens » (Ne 11,21).
Le mur permit de résister au siège de l’armée assyrienne de Sennachérib en 701 av. J.-C.. (Récit biblique : II Rois XVIII, 19). Les murailles furent démantelées après la prise de Jérusalem par l’armée babylonienne de Nabuchodonosor II en 587 av. J.-C.
La Bible (2Ch 33:14) y fait référence : « Après quoi, il (Manassé) restaura la muraille extérieure de la Cité de David, à l'ouest du Gihôn situé dans le ravin, jusqu'à la porte des Poissons; elle entoura l'Ophel et il la suréleva beaucoup. Il mit des généraux dans toutes les villes fortifiées de Juda » (trad. de la Bible de Jérusalem). Dans Antiquités judaïques, Livre IX, Flavius Josèphe parle du mur : « et il travailla beaucoup à l’édification de la muraille de l’Ophel (Rois II Chroniques, XXVII, 3) ».
Elles ont été découvertes par les techniciens des fonds d'exploration de la Palestine à l'angle sud-est de la zone du Temple, à environ 1,2 m en dessous de la surface actuelle. On peut aujourd’hui voir ces vestiges dans le parc archéologique de l’Ophel.
De même, le roi Ézéchias, fit creuser dans la roche un tunnel-canal long de plus de cinq cents mètres et une citerne appelée bassin de Silwan (ou « piscine de Siloé ») afin d'assurer l’alimentation en eau de la ville en cas de siège.
On ne sait pas vraiment comment et pourquoi, mais autour du IVe siècle, on a confondu l'Ophel avec le mont Sion originel. Probablement est-ce dû au fait que le terme de Sion s'étendit plus tard à la partie la plus élevée de la colline où s'élevèrent les Temples successifs.