Muro Este, en la Plaza Peña, el más cercano a la iglesia.
Lo podemos encontrar en el casco urbano, a espaldas de la iglesia, en la manzana rodeada por las calles del Palacio, Plaza Peña, Plaza del Sínodo y c/Morales.
Muy mal estado. Apenas quedan parte de sus muros perimetrales. En una de sus esquinas se ha habilitado una gran casona con alojamiento de turismo rural que ha afectado a toda su parte meridional.
Flanco Norte.
Algunas de las saeteras que se abren en sus arruinados muros.
Palacio fortificado. Sus escasos restos apenas vislumbran lo que en el pasado pudo ser. Debió ser de grandes dimensiones, pues ocupa toda una manzana, y la fábrica son mampuestos graníticos de grandes dimensiones con sillares de caliza en esquinas y vanos. Presenta un zócalo de grandes sillares. Todo ello le da un aspecto sólido y macizo. Existe una imagen antigua, bastante deteriorada, en la que se observa su puerta, con un arco de herradura de ladrillo, pero fue derribada. Conserva algunos ventanales adornados con motivos alegóricos del escudo heráldico de la casa de los Zúñiga. También se pueden apreciar diversas saeteras en los muros (tres en la Plaza Peña y dos en la c/Palacio. Desconocemos si tuvo más elementos defensivos.
Muro Oeste.
Es obra del siglo XVI, realizada por don Pedro de Zúñiga, el cual obtuvo la villa de Aguilafuente en 1535, al ponerla en venta el obispado de Segovia, su anterior propietario. Así pasó de la jurisdicción eclesiástica a la señorial. En ese momento el rey Carlos I concedió a don Pedro el título de marqués, aunque sin designación específica. Sería su hijo, también llamado Pedro, quien obtuvo definitivamente el título de Marqués de Aguilafuente, concedido por Felipe II en 1575. Por lo que, probablemente, el palacio fue construído entre 1536 y 1575, coincidiendo con la creación del marquesado.
Del palacio surge un recinto rodeado por un muro llamado la finca del Marqués. En el extremo Noroeste de dicha finca, a 240 m del palacio, se encuentra una de sus puertas, formada por un arco escarzano realizado en granito con el escudo labrado de la familia Zúñiga en su clave.