El castillo estuvo donde se alza hoy día, la ermita de San Nicolás de Bari. Fue construido en el ángulo Noroeste de la ciudad romana de Celsa, aprovechando las ruinas de un templo dedicado a la diosa Diana. Con posterioridad, el cerro donde se alza la ermita fue amurallado durante las guerras carlistas, pero de esa época, nada queda.
Los escasos restos del castillo se conservan en la parte trasera, en la base del ábside. Pero mezclados con restos romanos. Es prácticamente imposible deducir cuales pertenecen a uno y cuales a los otros.
Se dice que existe una galería subterránea que desde la ermita (antiguo castillo) conduce hasta el río Ebro.
Fue conquistado por Alfonso I el Batallador en 1118, pero, tras su muerte, fue recuperado por los moros. La conquista definitiva tuvo lugar en 1141. Se conoce el nombre de algunos tenentes del castillo, como Auger (mayo 1141), Galindo Aznárez (noviembre 1141-agosto 1150) y Pedro de San Vicente (1172-1184).
Ermita de San Nicolás de Bari.
Zona del ábside, lugar donde aparecen los restos del castillo.