Este castillo se levantó en la colina que hay al Noroeste de la iglesia, casi rodeada por la carretera de Híjar.
Prácticamente desaparecido. Fue destruído en 1838 durante la Primera Guerra Carlista. Y sobre sus restos, en 1982, se levantó el gran edificio del Centro Social Católico Virgen del Pilar. No obstante, ha quedado un lienzo en precario estado, en su ladera Noroeste.
Colina del castillo, junto a la carretera de Híjar.
Calle de la Cárcel, antiguo foso del castillo. Por la izquierda asoma la iglesia y por la derecha aparece el Centro Social.
Castillo musulmán que debió construírse a finales del siglo XI o principios del XII, como defensa ante la invasión almorávide. Se conoce la fecha de la donación del castillo por parte del rey de Aragón, Alfonso II, a la orden de San Juan de Jerusalén, contenida en el testamento de últimas voluntades que éste hizo en 1194. En septiembre de 1196, dos meses después de la muerte de Alfonso II, su hijo Pedro II también conocido como Pedro el Católico, rey de Aragón, confirmó la donación del castillo y la villa de Samper de Calanda a la Orden del Hospital.
Lienzo que ha quedado en la parte Noroeste de la colina.