A las afueras del casco urbano, hacia el Noreste, muy cerca de la carretera de Aldeanueva del Camino.
Bastante buen estado. Es propiedad privada y residencia ocasional de sus propietarios. No obstante, parece que en él habiten sus caseros.
Palacio castillo de planta rectangular. El patio es mudéjar, de dos plantas, y está formado por una doble galería de cinco arcos en cada lado, siendo los arcos inferiores de herradura apuntados y mudéjares del siglo XVI y los superiores escarzanos del mismo siglo, con los escudos heráldicos de la Casa de Alba en las esquinas. En torno a este patio se distribuyen las habitaciones. El jardín del palacio era renacentista y fue creado por orden de Fernando Álvarez de Toledo, duque de Alba. En él se mezclaban construcciones arquitectónicas y escultóricas, pinturas, estucos con diversas especies vegetales y artificios de agua. En la actualidad se encuentra muy deteriorado y sólo se conservan algunas partes del jardín, como la estatua de Andrómeda. El palacio fue antiguamente un centro cultural y artístico de gran importancia, además de academia literaria de italianos y flamencos, por el que pasaron artistas como Garcilaso de la Vega y Lope de Vega.
Detalle del patio interior.
Los musulmanes construyeron una fortaleza que se fue modificando con el paso del tiempo. Los templarios dominaron este lugar, llamado desde entonces Sotofermoso, cambiándolo luego por el actual de Abadía en memoria de la que en este lugar tuvieron los monjes del Císter. Luego fue monasterio cisterciense en el siglo XIII, que fue transformado en palacio por los duques de Alba en el siglo XVI, convirtiéndose en uno de los núcleos culturales y políticos más importantes de la época. Fue el duque de Alba, Fernán Álvarez de Toledo, el que en el siglo XV, sobre el viejo edificio, construyó un suntuoso palacio. Perteneció a la casa Ducal de Alba desde mediados del siglo XV hasta comienzos del XX.
Sobre una antigua puerta, ahora cegada, quedan las cuatro ménsulas del matacán que la protegía. También se observa una tronera circular y diversas aspilleras cerca del alero del tejado.
Lo que parece claro es que nació como obra defensiva como lo atestiguan esos elementos reseñados. Parece que en su interior todavía pueden verse el arranque de unas fuertes torres, pero el edificio solo abre sus puertas una hora a la semana y en una superficie mínima, por lo que no pudimos visitarlo.
