Se sitúa sobre una extraña mole rocosa, sobre una peña de 517 m de altura, dominando el pueblo que se desparrama a sus pies. Es sencillo llegar a su base, incluso con vehículo, donde existe un amplio mirador desde el que se domina todo el valle del río Huecha hasta el Moncayo. Por el contrario, es imposible ascender hasta sus restos, porque los accesos han desaparecido.
El castillo de Borja se encuentra en pésimo estado. La mayor parte de la peña se ha desmoronado, hay enormes grietas verticales en todo su perímetro que presumen lo peor, se construyeron en el pasado varios contrafuertes de ladrillo en un intento de evitar su desplome, pero los desprendimientos son contínuos. Hace algunos años, ante el peligro evidente de que se derrumbe y caiga sobre el pueblo, toda la peña rocosa se cubrió con una malla metálica.
La roca donde se alzaba el castillo vista desde el Oeste.
Aspecto de los contrafuertes del extremo meridional.
Castillo roquero de planta irregular muy alargada, orientada al Noroeste-Sureste, con un solo recinto. Está acoplado al espacio disponible en lo alto de las peñas. Es evidente que en el pasado contó con más superficie, pero la disgregación y caída de materiales ha reducido su superficie actual. La cresta rocosa tiene una longitud actual aproximada de 95 m con una anchura máxima de 7. Al parecer, toda la peña estuvo revestida de sillares, lo que le daría un aspecto formidable. Sillares que han sido expoliados prácticamente en su totalidad. Tan solo ha quedado un pequeño lienzo en su flanco Noreste que permite imaginar cómo debió ser. En diversas edificaciones urbanas se pueden ver sillares del castillo reutilizados. En el extremo meridional, hecho de mampostería muy descarnada por la erosión, se construyeron tres contrafuertes de ladrillo con el objeto de que las grandes grietas verticales que se abren en esta zona, no vayan a más y acabe desplomándose todo. Estos contrafuertes le dan un aspecto muy característico, siendo confundidos por los profanos como torres. En el extremo opuesto, al Noroeste, se observan algunos restos muy maltrechos de un torreón cuadrado. En algún momento del pasado se abrió un boquete entre los dos flancos de la roca para permitir el paso, pero actualmente está impedido por la malla metálica que cierra el paso. A vista de pájaro se observa que todavía quedan algunos muros en la cima de la peña, pero la imposibilidad de llegar a ellos, nos impide hacer una valoración sobre ellos.
Extremo Norte. Un caminillo rodea todo el conjunto.
Desde el camino se aprecia su altura.
Fue un castro romano situado junto a la calzada de Zaragoza a Astorga, por lo que ha sido ocupado militarmente de forma ininterrumpida durante 18 siglos. Durante la época musulmana se llamó Burya y fue lugar de origen del renegado hispano-visigodo Casio, quién abjuró del cristianismo. Perteneció a la revoltosa familia de los Banu-Qasi que dominaron la Marca Superior a lo largo del siglo IX. Llegaron a enfrentarse directamente contra los emires cordobeses, por lo que Muhamad I tuvo que conquistar dos veces Borja en los años 876 y 882. Borja fue reconquistada en 1124 por tropas bearnesas al servicio de Alfonso I el Batallador. Estuvo bajo la custodia de tenentes siendo el más famoso Pedro Taresa o Pedro de Atarés, fundador del monasterio de Veruela. Su posición junto a la frontera con Castilla y Navarra, muy estratégica, hizo que quedara en poder de la Corona. En 1288, Alfonso III lo entregó a los unionistas. En 1357, Pedro IV el Ceremonioso mandó fortificar las muelas de Borja, Magallón y Alagón, ante la amenaza de guerra con Castilla, pero eso no impidió que fuera Borja tomada por los castellanos cinco años después. Esta guerra supuso grandes destrozos tanto para el castillo como para la población. Luego perteneció a señoríos privados hasta 1443, año en que Alfonso V lo reintegró a la Corona. Felipe II autorizó el aprovechamiento de sus sillares para usos privados, lo que supuso su sentencia definitiva. En 1757 todavía tenía un alcaide, aunque el título debió ser honorífico, puesto que el castillo ya estaba en ruinas.
Único lienzo de sillares que ha quedado.
Flanco oriental.