Aunque es llamado castillo por vecinos, viajeros y estudiosos, no lo es. Se trata de un palacio residencial fortificado construido en el siglo XV.
En una colina sobre la población. Se accede por un camino que sube desde la plaza de la Iglesia.
Mal estado. Aunque se mantiene en pie, con mayor o peor fortuna, su abandono y degradación es evidente. Parece que hay un proyecto para convertirlo en museo, pero si no se toman medidas urgentes, es posible que llegue a derrumbarse.
Gran palacio fortificado de planta trapezoidal y fábrica de mampostería con sillares en las esquinas. Dispone de dos plantas y desvanes y su cubierta es a dos aguas con teja árabe. Está cubierta está apoyada sobre cinco hileras de pilares de sillería de planta cuadrangular sobre la que están las vigas de carga. Sobre la puerta, de medio punto, hay un balcón del siglo XVI y a la derecha de éste dos amplios ventanales góticos gemelos con rosetón calado. Al lado izquierdo del balcón, una ventana cuadrada con reja de trama forjada del siglo XVI, y encima otra más pequeña de medio punto. En la parte más elevada, tres ventanas idénticas que anuncian una clara influencia de la arquitectura aragonesa. Entre la puerta y el balcón, se encuentra un escudo nobiliario con ocho cuarteles y corona perfilada correspondiente a los señores que fundaron esta casa.
Sobre la puerta, con arco de medio punto dovelado en piedra, se mantiene el escudo de armas de los Ram de Viu, uno de cuyos miembros, el barón de Herbés, tuvo un destacado protagonismo durante las Guerras Carlistas. Este escudo está cuartelado y lleva acolada la cruz de Santiago, timbrado con la corona de barón.
Una muralla almenada defiende la casa-fortaleza y da paso a lo que sería el patio de armas, aunque reducido para tal menester. Se observan las dos aspilleras que defienden la entrada.
Fachada derecha.
En el resto de fachadas se pueden observar numerosas ventanas, muchas de ellas modificadas y una de ellas, en la fachada posterior, convertida en balcón de madera torneada. La fachada derecha, en la que destacan en la parte superior unas ventanas de tipo aragonés, tiene adosadas las dependencias que hacían función de graneros, lagar y depósitos a los que se accede por una magnífica puerta del XV llamada “dels delmes”, de los diezmos, por ser allí donde los vasallos entregaban a su señor la parte que le correspondía de los mismos y que representaba la mitad de lo recogido, una vez descontada un libra por el alquiler del granero. En la parte posterior se encuentra, junto al depósito de los diezmos, la nevera con una espléndida columna central de piedra.
Parte trasera.
En el interior del palacio, el vestíbulo de la entrada, pavimentado de guijarros, da a una escalera principal en forma de ángulo que ocupa todo el frente. A su derecha se encuentra una amplia bodega con sus gigantescos toneles ensamblados; a la izquierda queda otra escalera que conduce a los aposentos. En el primer y único rellano se unen dos umbrales de piedra labrada: el primero da paso a una habitación que refleja los muy variados usos a que fue destinada; por el segundo, tras gruesísima puerta de ennegrecida madera, se penetra en la lóbrega mazmorra del castillo, donde se pueden apreciar muchas iniciales y nombres con fechas y cruces, destacando una por su tamaño correspondiente al día 29 de marzo de 1762. Subiendo la escalera principal, se accede a un espacioso salón en el que destacan dos arcas de afiligranada talla que recuerda los finos trazos ojivales persistentes en el edificio. En este salón, seguro destinado a múltiples recepciones, recaen diferentes puertas que conducen a numerosas dependencias distribuidas por el castillo. Vestigios y retratos pintados recuerdan la alcurnia de los antiguos moradores en ambientes de siglos pasados.
Uno de los ventanales ajimezados de la fachada principal.
Parte trasera del edificio. A la izquierda aparece el campanario de la iglesia y la nevera, con cubierta a dos aguas.
Los Garcés debieron construir muy pronto su casa fuerte, aunque sólo fuera como símbolo de señorío y residencia cuando los señores se encontraban en el lugar. Pero intentaron destruirlo los vasallos en 1325, después de la reunión tenida en el porche de la iglesia parroquial, donde normalmente residía el alcaide. El barón Esteban de Cubells, mantuvo a principios del siglo XV duros pleitos en Valencia con el pueblo de Morella porque estos hicieron derribar el castillo del lugar.
Camino de acceso al pequeño recinto del palacio.
Cinco familias ostentaron el título de barón de Herbés, la primera de ellas los Garcés. Después los Centelles, por matrimonio y los Cubells por la pérdida del título de los anteriores en 1380. Llegaron después por matrimonio los Valls, que se encontraron finalmente con los Ram de Víu, últimos señores propietarios de Herbés y detentadores del título de barón de Herbés. Destaca entre estos últimos Rafael Ram de Viu y Pueyo, alcalde-corregidor de la ciudad de Valencia e importante militar en la Guerra de la Independencia española y la Primera Guerra Carlista.