Algunos historiadores atribuyen el inicio de la construcción del acueducto a Herodes el Grande a fines del siglo I a. C., basándose en la estimación de que el objetivo del mismo era proveer de agua al palacio del rey. Otros investigadores sostienen que la finalidad del acueducto era abastecer a toda la «Ciudad Superior», la parte occidental de Jerusalén de aquel entonces, según la terminología de Flavio Josefo.
Otra posibilidad es que el Acueducto Superior también continuara hacia el Templo de Jerusalén, a pesar de que el Monte del Templo es más bajo que la Ciudad Superior y ya era abastecido por el Acueducto Inferior. Según esta teoría, la elevación topográfica del Acueducto Superior fue escogida para poder trazar una ruta más corta y sencilla, que aprovechara la línea divisoria de aguas, y no necesariamente para alcanzar la parte más alta de la ciudad.
Flavio Josefo cuenta que Poncio Pilato utilizó dinero de las donaciones al Templo de Jerusalén, para construir un acueducto que llevaba agua a Jerusalén desde lejos.[1] Es posible que se refiriera al Acueducto Alto, en cuyo caso habría que datar el acueducto a la fecha de su gobierno (26 al 36 d. C.). Pero también es posible que el acueducto mencionado por Josefo corresponda con otro: el Acueducto Arruv, que llevaba agua a las Piscinas de Salomón, de las cuales a su vez salían el Acueducto Superior y el Acueducto Inferior.
En algunos de los eslabones de piedra que formaban ciertos tramos del acueducto, se encontraron inscriptos en latín nombres de centuriones de la Legión X Fretensis, que tenía su base en Jerusalén. Estos hallazgos indican que los soldados romanos renovaron el Acueducto Superior en el siglo II, para asegurar el suministro de agua a su campamento, que estaba ubicado en la zona del actual Barrio Armenio. Es posible que el agua se almacenara en el Estanque de Ezequías, pero ya no llegaba al Monte del Templo que para entonces estaba en ruinas.
