Englobaban el casco viejo, o barrio de la Vila, discurriendo por las calles de San Rafael, San Miguel, las Torres, Abadía, Alejandro Cardona, del Convento, Poeta Querol y del Mar.
Muy mal estado, sólo queda un portal y una de sus torres.
Poco podemos decir de la cerca de Oliva, pues los restos que han quedado son mínimos. En la Plaza de Alonso se encuentra el Portal de la Virgen María o del Raval, del siglo XV, el único que se ha conservado de los cinco que tenía. Consta de un arco de medio punto, encima del cual hay un retablo de cerámica. También estaban el Portal del Mar, al final de la calle Mayor; y Portal del Molí, en la calle homónima. Las demás, las desconocemos. La única torre que se ha conservado está en la confluencia de la c/Abadía con la c/de las Torres. Es cilíndrica de cuerpo y fábrica de mampostería. Se ubicaba frente al arrabal morisco defendiendo una de las puertas, el Portal del Pí, desaparecido.
Esta torre, única conservada y transformada en vivienda, ha sido comprada recientemente por el ayuntamiento, con el objeto de restaurarla y devolverle su pasado original.
Portal de la Virgen María o Portalet. Era una de las primitivas entradas de la muralla. En 1529 se construyó otro portal en la misma calle pero un poco más avanzado (Portal del Raval), hoy desaparecido. En su parte superior aparecen unos paneles cerámicos de la Inmaculada y San Francisco de Paula. Todavía conserva los quicios de las puertas. Daba paso a la antigua calzada romana que se dirigía a Játiva.
Oliva ya formó parte del reino musulmán de Denia. En el momento de la Reconquista dependía del castillo de Rebollet. Jaime I la entregó a Pedro Ximén Carrós, en cuya familia continuó, siempre en dependencia del castillo antes citado. A mitad del siglo XIV, una hija de Francisco Carrós, casó con Berenguer de Vilarragut, y la hija de ambos con Ramón de Centelles, quién compró la baronía de Rebollet y el lugar de Oliva. En 1413 se separó de Rebollet. En 1448, Alfonso el Magnánimo, la elevó a la categoría de condado, siendo su primer conde Francisco Gilabert de Centelles. Su hijo Serafín, segundo conde de Oliva, hizo amurallar la ciudad. Serafín de Centelles murió sin sucesión y el condado lo heredó su sobrino Francisco en 1536. A éste siguió su hijo Pedro en 1552. Luego siguió su hermana Magdalena, casada con Carlos de Borja, heredero del ducado de Gandía, por lo que se unieron en dicho matrimonio los dos títulos y los dos señoríos. Oliva tomó el partido austracista durante la Guerra de Sucesión, por lo que, en represalia, Felipe V ordenó derribar sus murallas. En 1740 murió sin sucesión el último de los Borja, Luís Ignacio, y ocho años después, lo hacía su hermana María Antonia. Los títulos fueron reclamados por su sobrino, el conde de Benavente, cosa que provocó un sonado pleito, pero éste consiguió el señorío. Su hija, María Josefa Pimentel casó con el duque de Osuna en 1771 y sus descendientes ostentaron el señorío hasta su abolición por las Cortes de Cádiz.