Todavía pueden verse por la ciudad restos de las murallas medievales (del siglo XI al XIV), casi todos asimilados a construcciones más modernas, pero aún quedan varias puertas de acceso, como la puerta de la Villa o Porta de la Vila que fue la entrada principal a la ciudad y es la más llamativa constructivamente. Se construyó en 1460 con sillares de piedra calcáreos y se cierra en su parte superior por un arco de medio punto en el que hay un tejadillo de teja árabe. La dovela central se adorna con el escudo de armas del primer conde de Albaida. En 1522 sufrió daños durante las Guerras de las Germanías, quedando testimonio de esto aún en sus muros y por la reconstrucción que se hizo posteriormente, con materiales de peor calidad que los originales.[4]
Permanecen en pie cuatro torres de la primitiva muralla, tres de ellas se corresponden con las del palacio de los Milán de Aragón y la cuarta es la Torre de Guaita. Torre islámica del siglo XIII, de propiedad privada, se encuentra dentro de la casa conocida como del Coixo Dacsa, en el punto donde confluyen la calle de La Fuente y la Avenida de Fora-Fora. Punto de llegada del camino de Onteniente, se trata de un portal doble formando recodo. Esta puerta fue clausurada en 1460, al empezarse la construcción de la Puerta de la Villa, nuevo acceso a la población en esa zona de la muralla. Su estado de conservación es bueno, siendo el portal que en mejores condiciones ha llegado a nuestros días.[5]
De una quinta torre sólo nos queda la base. Del resto del conjunto amurallado, destacan dos de los tres portales existentes, parte de la Barbacana que resguardaba el desaparecido portal de San Cristóbal y el mirador de la Guaita.[5]
A partir del siglo XVI comenzó de forma continuada la degradación de estas fortificaciones por los terremotos de 1644 y 1748 y el crecimiento urbanístico que motivó su progresivo derribo. El cinturón defensivo de Albaida es el conjunto fortificado urbano que mejor se ha conservado de toda la comarca.[5]
El Portal Mayor era el más antiguo y la única abertura de la muralla islámica. Fue construido en el siglo XIII y modificado varias veces en siglos posteriores. Se halla actualmente en la confluencia de las calles Trinidad y Fraga, en lo que entonces era parte más elevada y protegida del circuito amurallado. Entre los siglos XIV y XV se reforzó el sistema defensivo del portal con la construcción de una barbacana, llamada Barbacana de San Cristóbal, especie de pequeña muralla de piedra con refuerzos de sillares en las esquinas, que se ha conservado parcialmente y que servía para defender el acceso desde una posición más elevada (corresponde a un tipo de edificio con carácter defensivo urbano, integrado en las murallas del núcleo antiguo de la población que data del siglo XIII). Del portal son pocos los elementos que han llegado a nosotros, ya que se vino abajo con el terremoto de 1644, aunque para entonces ya debía estar semiabandonado y en desuso, al haber pasado a ser la Plaza Mayor el centro de la vida urbana.[5]
La Puerta de Onteniente o Porta d'Ontinyent fue construida en el siglo XIV aprovechando una torre vigía islámica del siglo XIII.[3]
Otro acceso antiguo que aún se conserva es la Puerta de Aljorfa o Puerta de Valencia, entre la villa y el barrio de Raval Jussà o de Baix, que estaba en la llegada al camino de Valencia y miraba hacia el poblado de Aljorfa (es la única que se conserva de los que comunicaban la población con esta barriada extramuros, punto de llegada del camino de Valencia).[3] Se encuentra en la zona más baja del pueblo y en la Edad Media quedaba extramuros, esta puerta se ensanchó en su parte inferior durante el siglo XX para facilitar el acceso de vehículos.[4] Es la única que se conserva de las que comunicaban la población con esta barriada extramuros, y punto de llegada del camino de Valencia. Por ella, los viajeros procedentes de la capital o de Játiva, accedían al amplio y empinado “Calle de Abajo”, eje principal del núcleo medieval de Albaida. Éste fue el acceso más importante de los situados extramuros de la villa. Actualmente se encuentra al final de la calle Beato Nicolás Factor. Construido alrededor de 1450, es semejante a la Puerta de la Villa, aunque mucho más sencilla.[2]
La Puerta de a Villa o Porta de la Vila, es la más majestuosa de la antigua muralla, y uno de los mejores ejemplos de este tipo de construcciones en la Comunidad Valenciana. Se abre a la Plaza Mayor, junto al palacio, y fue iniciada es 1460, el mismo año en que en Valencia se comenzaban a construir las Torres de Cuarte. Dañada en 1522 durante las Guerras de las Germanías (aún pueden verse en sus muros impactos de proyectiles), sería rehecha poco después utilizando materiales de peor calidad que la piedra sillar originaria.[3] La Puerta de la Villa, es una puerta gótica que combina el arco de medio punto en la parte delantera y uno escarzado en el interior. Formaba parte del edificio defensivo que se situaba en el núcleo antiguo de la villa. En su dovela central quedan restos del escudo de armas del primer conde de Albaida. Aunque la puerta forma parte del tramo de muralla que aún se conserva, ha quedado englobada dentro del edificio del Ayuntamiento Viejo. Este lienzo conectaba una de las torres del Palacio con la Torre de Guaita y el Portal de Onteniente.[5]
La Puerta de la Villa fue el principal acceso a la ciudad durante mucho tiempo, hasta que la apertura en 1769 de un arco por debajo del palacio que conectaba directamente con la Plaza de la Iglesia la convirtió en un acceso secundario.[5]
Por la Puerta de la Villa llegamos directamente a la Plaza de la Villa (Plaza Mayor), donde aún vemos algunos lienzos del antiguo recinto amurallado presentes en edificaciones. En esta plaza encontramos casi todos los edificios y monumentos importantes de la localidad: la iglesia de Santa María de la Asunción, la parte posterior del palacio de los Milà de Aragón, el acceso a la casa museo de José Segrelles, la casa de los Valcaneda (con cronología del siglo XVI, aquí se ubicaba antiguamente el ayuntamiento), el museo de belenes, el Museo Internacional de Títeres y la casa Abadía (siglo XVIII).[4]
Cabe señalar que hacia la Plaza de la Villa, la fuente de la plaza del siglo XVII tiene un remate escultórico barroco que formaba parte de la antigua muralla.[4]