Conjunto de edificios que ocupan el solar del castillo, en la Plaza Mayor. El de color azul es el ayuntamiento.
Los mismos edificios vistos por su parte trasera, lugar donde mejor se aprecian sus orígenes como fortaleza.
Se levantaba en lo alto del cerro a cuyo alrededor se desarrolló el primitivo barrio de Benacacira, que significa peña cortada, dominando el paso sobre el río y ocupando el espacio frente al que hoy se abre la Plaza Mayor.
Muy mal estado. Tras su función como fortaleza, tanto musulmana como cristiana, fue transformado en palacio, y en el siglo XIX en posada. En la actualidad, en su lugar se alza el ayuntamiento y otros edificios diversos, quedando embutidos en ellos algunos de los restos del castillo.
Al transformar el castillo en palacio, fue derruída la antigua Puerta del Ángel, situando una nueva en mitad del edificio, dejando una parte como dependencias del vizconde y otra como edificio civil y religioso. A esta puerta se le llamó Cuesta de Palacio ya que subía desde el pueblo hasta el Palacio.
La puerta principal del castillo se encontraba en la actual plaza Mayor donde está ubicada hoy en día, la Casa Consistorial de Chelva. Las otras dos serían; la que se conocía en el siglo XVII como de Benacacira y la de las Almenas que en ese mismo siglo se le comienza a llamar de los Santos Médicos. Un muro de 3 m. de espesor recorre todo el perímetro del peñasco en la zona Sur, pero falta en la zona Norte. Seguramente debido a la construcción de la plaza a principios del siglo XX. Este muro continuaba su curso hasta el barrio de Benacacira, para empalmar con la cerca urbana. Quedan vestigios de un torreón en la zona Oeste, con una altura de 12 metros, que hoy queda patente en el tercer piso, cuyos muros alojaban las almenas-saeteras de defensa del castillo. El torreón tenía una terraza intermedia por la que se puede acceder al exterior desde el segundo piso. Esta terraza debería estar comunicada con el torreón principal mediante una escalera interior y perimetralmente con un muro que dividía dos zonas totalmente diferenciadas. Y debió existir otro de similares dimensiones en la zona Este del edificio de propiedad privada. En la parte Oeste se alojarían los soldados y caballerizas mientras que en la otra viviría el vizconde y sus súbditos dejando en medio un patio interior que dividiera las dos zonas. Se amplió la parte Este con tres nuevos módulos que están patentes en la actualidad, todos ellos a un agua y en lamentable estado de conservación. Posteriormente se amplió la fachada Norte con un nuevo edificio dando forma a la plaza actual.
La primitiva fortaleza islámica, cuya construcción se inició probablemente en el siglo XI, fue ampliada, reforzada y mantenida en uso por los musulmanes debido a la condición fronteriza de la villa y a los repetidos ataques de los diversos ejércitos cristianos desde los tiempos de las correrías del Cid. Los musulmanes reedificaron el castillo elevando sus murallas a una cota de 16 metros, como prueban las almenas-saeteras encontradas a partir de las catas realizadas. Tras la reconquista, se edificó una iglesia en el interior del castillo y se comunicó con sendos pasillos todo el perímetro de defensa del castillo tanto por la parte Norte como la Sur. Posiblemente en el siglo XV, a causa de la falta de perspectiva de defensa que produjo la construcción de la iglesia se edificó un segundo torreón situado en la zona Sur.
Las reformas más importantes se iniciaron en la época de la creación del vizcondado, a finales del siglo XIV y principios del XV, reconstruyéndose la estructura en su casi totalidad, levantando nuevos muros sobre los ya existentes, cerrando los accesos antiguos y abriendo nuevas puertas, y cubriendo toda la edificación. Estos profundos cambios hicieron que la antigua fortaleza perdiera parte de su carácter militar y defensivo para adecuarla a residencia palaciega de los vizcondes de Chelva. Con el transcurso del tiempo el conjunto siguió modificándose, hasta que sus propietarios dejaron de utilizarlo como residencia habitual, llegando a convertirse en el siglo XIX en posada para el alojamiento de viajeros.
Todas estas transformaciones han hecho que el edificio haya llegado hasta nosotros totalmente desfigurado, habiendo perdido la mayoría de sus características fortificadas, tanto de tiempos musulmanes como de los primeros señores cristianos, constituyendo un conjunto de dependencias e instalaciones construidas en diversas épocas históricas. Buena parte de este conjunto se halla, además, en un precario estado de conservación. Paradójicamente, los elementos de la fortaleza que han pervivido se remontan al periodo más antiguo, al musulmán, localizados en la parte Sur del edificio, a espaldas de la fachada recayente a la Plaza Mayor.