En un pequeño cerro junto al río Mijares, todo él ocupado por las casas del pueblo. En su cima se levantaba el castillo.
Desaparecido. Sobre sus restos se levantó un palacio y viviendas.
Es un edificio señorial de grandes dimensiones, con tres plantas y cubierta de teja moruna. En su fachada se abren numerosas ventanas y balcones con rejas de forja. No tienen elementos decorativos a excepción del escudo nobiliario del barón de Ribesalbes que, posteriormente pasó a serlo del propio pueblo.
Antiguo castillo musulmán dado a poblar en 1245 al caballero Guillem de Pau, bajo la jurisdicción del castillo de Onda. En el siglo XV perteneció al médico Ros de Ursinos. Más tarde, el lugar fue convertido en baronía. Suponemos que en esa época fue convertido el castillo en palacio. A mediados del siglo XIX pasó a propiedad municipal, siendo utilizado como prisión, escuelas, cine, salón de baile, discoteca y teatro. En 1980 un fuerte incendio lo destruyó por completo quedando tan solo la fachada. En los años noventa del siglo XX comenzó su reconstrucción, hasta 1999 cuando se inauguró el Museo de la Baronía en sus dependencias.
Sobre la colina, se situaba el castillo. El edificio blanco con tres ventanas es el actual Palacio de la Baronía, levantado sobre el castillo.