En el llamado cerro de la Mola, Muela o Moleta, en la parte alta de la población. Las casas llegan hasta su mismo recinto formando un barrio que es denominado por los vecinos “lo castell” (el castillo). Se puede llegar hasta el lugar entre las calles del pueblo, aunque tras dura ascensión.
Prácticamente desaparecido. Tan solo algunos vestigios dispersos. Fue destruído durante las guerras carlistas. La parte septentrional ha sido convertida en un mirador.
Parte septentrional del castillo. Convertida en mirador, todavía queda un muro original del castillo.
En el flanco Sur, queda la base del muro perimetral al borde de las rocas.
Castillo roquero de planta irregular muy alargada adaptada al espacio disponible en la cima aplanada de uno de esos cerros que entre sus habitantes son llamados muelas. Tiene una longitud de 340 m y una anchura máxima de 60, encerrando un área de 1’20 Ha aproximadamente. Todos sus flancos se sitúan al borde de escarpes rocosos verticales que hacen imposible el acceso. Solo se podía entrar al castillo por dos puntos situados en lugares opuestos. Por el desaparecido Portal de la Muela, al Oeste, entre las casas. Y en el extremo oriental, por el “pont xafat” (puente pisado o chafado), es decir, un impresionante puente levadizo que se derrumbó y que atravesaba un tajo entre las rocas para poder entrar en el castillo. Todavía quedan los estribos del puente.
Solamente quedan restos de algunos de los paramentos que conformaron la muralla perimetral, especialmente en su flanco meridional, y los basamentos de dos torreones. También conserva restos de un muro reforzado con sillar en sus esquinas. Tras las guerras carlistas acabó convirtiéndose en un solar abandonado a medida que la población se desarrolló por la ladera del promontorio.
Muro de mampostería situado en la zona del mirador.
En la misma zona del mirador queda la base de un cubo cuadrangular.
Construcción circular al borde los escarpes, que podría ser la base de un torreón.
Muro con sillares en la esquina.
Tajo en la roca cortado a pico dejando las paredes completamente verticales. El puente salvaba este hueco.
Todavía ha quedado parte de los estribos del puente en los dos lados del tajo. Tajo Este.
Tajo Oeste.
Castillo musulmán, que en 1169 fue conquistado por Alfonso II de Aragón. Durante la primera época de la conquista cristiana, Peñarroya era una aldea del castillo de Monroyo. El monarca aragonés tuvo gran dificultad para poblar este territorio dada su posición de frontera con la zona musulmana de Morella. Por ello, en 1209 donó estos territorios a la Orden de Calatrava y en el año 1237 los Calatravos de Alcañiz, sede principal de la Orden en la zona, concedieron a Peñarroya la Carta de Población. En ella, dan a la villa licencia para aumentar la población y privilegios para la construcción de muros en la fortificación. Posteriormente, en 1337, la población se independizó de Monroyo y creció ladera abajo.
Lo Trenc. Túnel que atraviesa parte de las rocas donde se asienta el castillo, cuyos muros se observan en la parte de arriba.
Acción de Peñarroya. En el mes de abril del año 1840 ocupaban su castillo las tropas carlistas, pero el general Espartero mandó al general León para que intentara apoderarse de dicho castillo, en el que todavía trabajaban sus defensores. Este general se dirigió a Peñarroya con 6 batallones, 2 escuadrones y 1 batería de montaña. A su aproximación dispararon los carlistas algunos cañonazos, repitiéndolos constantemente desde que los sitiadores estuvieron al alcance. Tales disposiciones exigían que León verificase un ataque que tuvo lugar, ocupando el pueblo a la carrera dos compañías de cazadores de la segunda brigada, mientras que una sección de la batería de montaña contestaba el fuego de los carlistas y se dirigían dos batallones a envolver la posición del fuerte. Los carlistas evacuaron la plaza descolgándose por los muros, y perseguidos por dos compañías de cazadores y la escolta de León, se rindieron prisioneros 1 capitán, 2 tenientes y 21 individuos de tropa. Los de la reina, al ocupar el castillo, hallaron en él un cañón de a 8, otros efectos de guerra y todas las municiones y víveres.
