El castillo se encuentra en medio del casco urbano, semioculto por viviendas modernas. Su situación a escasa distancia de la frontera castellana (una legua) y sin demasiadas condiciones naturales para su defensa, lo sometieron a importantes agresiones.
No queda demasiado de este castillo y lo que queda necesita mejorar su estado. La iglesia se construyó en el siglo XVI destruyendo el sector Suroeste del recinto murado. A principios del siglo XX se construyó la plaza de toros en el interior de su recinto. Y décadas después, una piscina, hoy abandonada por filtraciones debido a que se construyó sobre terreno de relleno. Estas obras arrasaron con todos los restos existentes en el interior del castillo. Recientemente un lienzo de la muralla de la zona Noreste se derrumbó en 2008 debido al hundimiento de varias bodegas excavadas en la base rocosa de la fortaleza. Y aunque fue reparado con rapidez (con un coste de 100.000 €), ha provocado la desestabilización de los muros adyacentes.
Torre del Homenaje, situada en el extremo oriental.
Aljibe situado en la planta baja de la torre.
Puerta de la torre y, quizás del castillo, en la primera planta, a la que se llega por medio de una escalera.
Sector intramuros de la torre.
Castillo montano de planta ovalada alargada orientada al Noroeste-Sureste y con un solo recinto. Ocupa una superficie aproximada de 3.750 m2. Su fábrica combina la mampostería con el tapial. Incluso en su parte Norte hay un tramo de sillares ciclópeos, muy similares al antiguo poblado de Torregabasa, que deben ser ibéricos o romanos y han sido reutilizados. De su interior nada ha quedado, y del recinto han sobrevivido tres torres y algún lienzo disperso entre las casas. Desconocemos el numero de puertas. Es tradición que la entrada al castillo se hacía a través de la torre del Homenaje. Y junto a otra de las torres aparece una pequeña poterna, hoy cegada.
La principal de dichas torres es la Torre de la Cárcel, considerada como el Homenaje, bien conservada y reparada, y muy alta (15 m), cuadrada (8 m de lado), de buena mampostería y refuerzo de sillería en las esquinas, y varias saeteras. Solamente ha perdido las almenas, cubriéndose con un tejado a cuatro vertientes. En su parte inferior se abre un aljibe que posiblemente es de construcción posterior a la torre. Lo cubre una bóveda de cañón de sillería, en la que se ha practicado un hueco que permitía coger agua desde el interior de la torre. En su frente presenta dos filas de sillarejo salientes sobre las que se ubica la inscripción de «AÑO 1610». A la altura del primer piso se abre la puerta, con arco apuntado y en la cara que mira hacia intramuros se abre otra puerta de reducidas dimensiones con arco de medio punto, pero que está cegada. Alberga una sala de exposiciones.
Después de un sector oculto por viviendas, en un pequeño jardín, queda un lienzo exento. Se pueden ver sillares ciclópeos reutilizados.
Tres pasar la iglesia existe otro lienzo parcialmente oculto por viviendas en el que se abre la única aspillera del perímetro.
Sillares ciclópeos, posiblemente ibéricos, reutilizados.
Torre o cubo de tapial. Es la peor conservada de las tres. Junto a ella se abre una pequeña poterna. El muro de color más claro es el que se derrumbó en 2008 y luego fue reconstruído.
La torre situada a mayor altura está construida en tapial y es la más pequeña de las tres, y también la peor conservada. Y la siguiente torre está construida en mampostería la parte baja y en tapial la segunda parte de la torre, estando cubierta por un tejado a un agua y es utilizada como parte de una vivienda.
Levantado sobre restos ibéricos previos, su construcción fue financiada por la Comunidad de Daroca en 1303. En 1356 lo incendiaron los castellanos y al año siguiente se refortificó. El arzobispo de Zaragoza autorizó en 1363 construir una capilla dedicada a San Juan en el castillo, hoy desaparecida. En el siglo XV, entre 1449 y 1452, también se vió involucrado el castillo durante los combates entre Álvaro de Luna y Aragón.
Aquí podemos ver la escasa distancia que separa a las tres torres.