La iglesia parroquial se levantó sobre los restos del antiguo castillo. Incluso se adaptó una de sus torres como campanario. Entre las casas podemos encontrar algunos lienzos más. El muro es complicado de ver a simple vista ya que gran parte ha sido derribado para construir casas o adosarlas a él a medida que el pueblo iba creciendo. Encima el sector situado al Norte está totalmente cubierto por una enredadera vegetal que impide su observación.
La torre y el muro asoman por encima de las casas.
La adusta torre muestra claramente su pasado militar. En ella se abren algunas aspilleras.
La torre es de planta cuadrada y presenta su parte superior adaptada a las necesidades propias de un campanario. Su fábrica es la mampostería trabada con mortero de cal con sillares en las esquinas. Adosado al campanario y a la propia iglesia que se apoya en él, existe un lienzo del castillo que se dirige en dirección septentrional para luego girar en ángulo hacia el Este. Este muro, que mide unos 47 m, conserva almenas rectangulares actualmente restauradas y varias aspilleras en dos hiladas. Estas almenas están equipadas con ganchos de piedra donde colgaban unos batientes de madera que permitían a los arqueros abrir y cerrar la apertura entre almenas por donde disparaban las flechas. Desde el campanario se puede acceder al adarve. El muro tenía dos puertas con arcos de medio punto abiertos al Sur y al Norte. De estas dos puertas de la muralla sólo ha sobrevivido una pequeña parte del arco del portal Norte, en la calle de las Escuelas. Se pueden observar los grandes sillares que formaban este arco, actualmente incluidos en el muro de una de las casas de la calle.
El muro asoma por encima de las casas. Podemos observar los pequeños ganchos de piedra de las almenas.
La primera mención documental que hace referencia al topónimo Cantallops está relacionada con el personaje llamado Bernad de Cantalups que en el siglo XII fue puesto como rehén, “entre otros valedores, a disposición del conde Gausfredo III del Rosellón, en garantía de la ayuda que le prestaría”. Posteriormente, seguramente hacia 1288, durante el reinado de Alfonso el Liberal, el castillo fue destruido por los invasores franceses como otras fortalezas del Ampurdán. Este castillo formaba parte del vizcondado de Rocabertí, que se extendía a ambos lados de la sierra de la Albera. Por el tipo de aparejo y aspilleras el castillo se puede datar entre los siglos XIII y XIV. En el siglo XIX se habilitó el Homenaje como campanario.
Arranque del arco de uno de los portales, en la c/Escuelas.
Muro Norte. Actualmente (abril de 2023) cubierto por un espeso manto vegetal.