Los restos del castillo se encuentran en el centro del barrio de Campanar, en su punto más alto, al Sur de la iglesia.
Aunque quedan restos ocultos por las casas, tan solo puede verse a simple vista un lienzo situado en un callejón que comienza en la c/Campanar.
Barrio de Campanar. Por encima de los tejados asoma el lienzo del castillo. En primer término, el gran edificio del antiguo hospital.
Desde la c/ del Hospital se observa el muro por encima de los tejados.
Como ya hemos dicho, tan solo queda un lienzo de unos 20 m de longitud, con fábrica de tapial sobre una base de mampostería trabada con mortero de cal. Está muy alterado, con numerosas intervenciones a lo largo de los siglos, reparaciones, y abertura y cierre de vanos de diferente tamaño. Incluso se abre en él la puerta de una vivienda, pues no olvidemos que todavía sirve de medianera de varias casas. En cambio, subsisten numerosos huecos de las agujas del tapial. Su anchura se reduce conforme gana altura. Se cree que tuvo tres plantas.
Se realizó un moderno estudio con georradar en 2009, que permitió detectar la presencia de una posible escalera y una estancia subterránea.
El castillo está documentado ya en el año 1194, pero también se sabe que fue arrasado por orden del Concejo de Teruel en el año 1270.
