El castillo se levantó en el extremo oriental del pueblo, sobre un espolón rocoso a modo de proa de un barco. Por el exterior es imposible su acceso, pero desde el interior del casco urbano, se llega hasta él a través de la calle del Castillo.
Apenas quedan vestigios de esta fortaleza. El portal de entrada, su patio de armas y una ventana apuntada. No obstante, al edificio que alberga estos elementos todavía se le sigue llamando entre los vecinos “el castillo”.

Extremo oriental del pueblo, lugar donde estuvo el castillo. El gran edificio situado aquí todavía es llamado “el castillo”.



Portal de entrada al castillo, con la cruz de Calatrava esculpida en la clave. Da paso al patio del castillo, conservado en parte. Tanto el arco como el muro son originales.
Patio del castillo. Todos los edificios aquí han sido transformados en el pasado convirtiéndolos en hospital, pósito y, finalmente, viviendas. Tan solo se respetó la ventana apuntada gótica.


Durante el reinado de Alfonso II, se produjo hacía el año 1169 la conquista cristiana del territorio comprendido entre los valles del Matarraña y el Algars, que había estado desde el siglo VIII bajo dominio musulmán. En 1179 el rey concedió a la Orden de Calatrava el castillo de Alcañiz como pago por sus servicios durante las contiendas militares y para afianzar la posición cristiana en este territorio. La influencia de esta orden se fue extendiendo y adquirió varios señoríos dentro de la comarca, como es el caso del castillo de Monroyo y sus aldeas en 1209, entre las cuales se incluía Ráfales. En 1137, el rey Redro IV el Ceremonioso otorgó a Rafales el título de Villa y sería por aquel entonces cuando la Orden de Calatrava construiría este castillo, que es la parte más antigua del actual núcleo urbano. Seguramente se edificó sobre una fortificación árabe anterior, origen del primitivo Rafales, ya que el nombre de la población es un topónimo árabe que significa masía o caserío. Después de perder su función defensiva, el castillo acogió el antiguo hospital y el pósito municipal. Posteriormente fue ocupado por casas particulares.