Se localiza en el casco urbano, cerca de la iglesia, en la c/ Virgen de Guadalupe. Se encuentra muy transformado y necesitado de una restauración.
Palacio fortificado con una torre de planta cuadrada (5’30 m de lado) que sobresale por encima de las casas. Tanto el edificio como la torre están bastante transformados. La parte más antigua es la que va desde la Torre del Homenaje hasta el comienzo del arco que cruza la calle (42 varas). En dicha torre se encontraba el escudo heráldico de los condes. Las traseras del palacio comunican con la iglesia. Actualmente, el palacio ha sido ocupado por tres viviendas y dos bares restaurantes.
Se construyó a finales del siglo XVII cuando, al regresar los condes a Cheles tras la Guerra de la Restauración Portuguesa, entre España y Portugal, encontraron que el castillo estaba muy deteriorado. Los hermanos Francisco y Cristóbal Manuel de Villena aportaron la cantidad de 30.000 ducados para la construcción pero, esta vez, dentro de la población y muy cerca de la iglesia.
Antiguas bodegas del palacio, convertidas en restaurante.