Parte de la fachada principal y de una de las torres angulares. Se aprecia su mal estado, con infinidad de añadidos, apaños y remiendos con toda clase de materiales.
En la parte alta del pueblo, cercano al cerro de la ermita. Existen rótulos indicativos.
Muy mal estado. Apenas queda una parte muy arruinada de sus muros exteriores.
Parte trasera de lo que queda del palacio. Apenas el muro exterior, pues el interior pertenece a una vivienda, como se observa con diáfana claridad.
Debía ser similar a los de las vecinas localidades de Luchente y Montichelvo, de los que es contemporáneo. Respondería al modelo de alcázar cuadrado con patio central y cuatro torres en las esquinas, más demostrativas del poder señorial que con función defensiva. Parece ser que disponía de un extenso huerto. En la fachada principal, se abría el único acceso, seguramente con arco de medio punto dovelado, las ventanas debieron ser cuadradas con rejas de forja y la tradicional logia bajo el alero. Los restos que hoy podemos observar, formando parte de modernas edificaciones, son un lienzo de la fachada, bastante modificado y deteriorado, y la esquina de una de las torres. Los elementos interiores se han perdido por completo.
Fue construido en el siglo XIV, ante la necesidad de procurarse una residencia que dominara el señorío, mucho más confortable y accesible que el antiguo núcleo feudal del castillo de Rugat, ya en grave peligro de ruina. Este nuevo palacio fortificado iría sufriendo sucesivas reformas que le fueron dando un carácter más residencial y aristocrático que defensivo, siendo una de las más importantes la realizada por los Aguiló de Romeu durante el breve periodo que ostentaron el señorío, hasta que pasó a los Borja, duques de Gandía, quienes pronto dejaron de prestar atención a esta propiedad, limitándose tras unas primeras reformas a su mantenimiento más elemental. Por ello, a la abolición de los señoríos el edificio llegaría ya bastante deteriorado. Comprado por la familia Frasquet Boluda, vecinos de la localidad, fue parcelado y finalmente derribado para construir viviendas particulares.
Es posible que no exista en la región valenciana otro edificio con tanto remiendo.