Estaba ubicado en el mismo lugar en que ahora se encuentra el Parador nacional, sobre un estratégico cerro de 49 m. de altura que dominaba la desembocadura del río Guadiana, frente a las costas de Portugal. También era conocido con el nombre de la santa titular de la capilla que contenía en su interior: Nuestra Señora de los Favores.
Completamente desaparecido, a excepción del hornabeque del Socorro.
Casco viejo de la ciudad de Ayamonte. El edificio situado en la cumbre de la colina es el Parador, antiguo solar del castillo.
Fotografía antigua del castillo, con los escasos restos que quedaban en pie.
De todas las estructuras que conformaban el castillo, sólo queda en pie el antiguo hornabeque llamado de «Nuestra Señora del Socorro» que fue adquirido por un particular y convertido en vivienda en 1973. El hornabeque de «Nuestra Señora del Socorro» o «puesto del Socorro» estaba formado por dos medios baluartes en forma de tenaza. La artillería se situaba sobre una plataforma superior a la que se accedía a través de una plaza de armas. Estaba rodeado por un foso y se comunicaba con el castillo por un camino cubierto (estrada cubierta). El hornabeque se construyó durante las reformas que sufrió el castillo sobre el año 1666-1668. Está situado sobre el cerro del Socorro, al Sureste del emplazamiento del castillo. Tenía capacidad para 150 hombres.
Diversas fotografías del Hornabeque del Socorro, realizadas con bastante dificultad desde el exterior de la finca donde se alza, pues es residencia particular y no se visita.
Su origen romano, asegurado por algunos, no está aún demostrado. Ocupado por los moros fue posiblemente reedificado en el siglo XIII, durante la época de reconquista cristiana del Sur de España. Es posible que la estructura original del castillo se edificara tras la conquista de la localidad por la Orden de Santiago en 1239 (aunque tampoco existe mucha información al respecto, cumpliendo doble misión: vigilancia de la costa y control fronterizo frente al reino de Portugal. Las fortalezas y términos de Ayamonte y Cacela (ahora «Cacela Velha» en la freguesía de Vila Nova de Cacela del municipio portugués de Vila Real de Santo António) fueron concedidos a Pelayo Pérez Correa, comendador de Alcácer do Sal, y a la Orden de Santiago por el rey portugués Sancho II Capelo (1207-1248) el 2 de mayo de 1240, para premiar los servicios prestados en el momento de su conquista. Con ello, en sólo ocho años, la Orden de Santiago había más que doblado la extensión de sus posesiones en el reino de Portugal y además era la única institución que guardaba todas las fronteras terrestres del Algarve. En los años 1248 y 1255, Fernando III de Castilla «El Santo» y Alfonso III de Portugal respectivamente, confirmaron esta donación. Durante más de medio siglo permaneció el castillo de Ayamonte en poder de la Orden, lo que debió dejar impronta en la estructura de esta fortaleza.
Plano del castillo de Ayamonte del año 1688. Se distingue el Hornabeque del Socorro y el camino cubierto que lo unía al grueso del castillo.
No está clara la fecha en que la Orden de Santiago abandonó el castillo de Ayamonte. Existe un documento según el cual entre 1242 y 1284, Alfonso X y la Orden permutan Ayamonte y Alfayat de la Peña que eran santiaguistas por Reina y Estepa, que se supone no lo eran. Alfonso X cedió Ayamonte y otros emplazamientos al Este del Guadiana a su hija Beatriz de Castilla, como dote, al casarse con Alfonso III de Portugal en 1253. Estas concesiones de duración vitalicia eran habituales en la corona, pero debían retornar a la misma a la muerte del beneficiario. Mediante el tratado de Badajoz de fecha 16 de febrero de 1267 entre los monarcas Alfonso X el Sabio (1221-1284), por Castilla, y Alfonso III de Portugal, el castillo de Ayamonte y su término pasaron a ser jurisdicción definitiva del reino de Castilla, estableciéndose la frontera entre ambos reinos en el río Guadiana. En este tratado se reconocía la integración del Reino del Algarve en la Corona de Portugal, y los territorios al Este del río Guadiana en las de Castilla.
Plano del castillo del año 1725. Contaba con almacenes de munición, almacenes de pertrechos de guerra y de pólvora, vivienda del gobernador, capilla, cuarteles de los soldados, cisterna y pozos, horno y panadería, torres y diversos baluartes. En el plano están señalizados y descritos, pero es bastante ininteligible el texto.
En 1287, Ayamonte y su castillo fueron adquiridos, junto a Lepe y La Redondela, por Alonso Pérez de Guzmán («El Bueno»), fundador de la casa de los Guzmán, señores de Sanlúcar y más adelante condes de Niebla y duques de Medina-Sidonia (Casa de Medina-Sidonia). La venta la realizó el Rey Sancho IV (segundo hijo de Alfonso X El Sabio que reinaría en Castilla entre 1284 y 1295), a la mujer de Alonso Pérez de Guzmán («El Bueno»), llamada María Alonso Coronel. En el año 1406, durante el reinado de Enrique III de Castilla, llamado «el Doliente» (1379-1406), el castillo de Ayamonte volvió temporalmente a manos musulmanas. El rey moro de Granada quebrantando las treguas que él mismo había solicitado con el rey de Castilla, tomó el castillo por sorpresa. Enrique III de Castilla murió en 1406 mientras realizaba los preparativos de reconquista contra el rey de Granada (Muhammed VII) que había invadido Ayamonte. Lo sucedió Juan II de Castilla (1405-1454), bajo la regencia de su tío paterno Fernando de Antequera. El regente Fernando recuperó la plaza de Ayamonte en 1407 junto a otros puntos de la frontera con el Reino de Granada. El Señorío de Ayamonte fue ostentado por primera vez por Juan Alonso Pérez de Guzmán y Osorio, I Conde de Niebla, que fue hijo de Juan Alonso Pérez de Guzmán y nieto de Alonso Pérez de Guzmán («El Bueno»). Con Teresa de Guzmán, hija del I Duque de Medina-Sidonia y IV Señora de Ayamonte, el señorío pasó definitivamente a una rama menor de la Casa de Medina-Sidonia, conocida con el tiempo como Casa de Ayamonte. Su esposo, Pedro de Zúñiga y Manrique, hijo del I Duque de Béjar, recibió el título de Conde de Ayamonte en 1485 de manos de la reina Isabel I de Castilla. En 1521 Carlos I elevó el condado a la dignidad de Marquesado.
En el año 1641, Don Francisco Manuel Silvestre de Guzmán y Zúñiga, VI marqués de Ayamonte, protagonizó una conspiración independentista en Andalucía. Tras ser interceptada una carta entre el ducado de Medina Sidonia y el marquesado de Ayamonte junto con informes procedentes del recientemente independizado reino de Portugal, alertando de la inminencia del levantamiento andaluz, se confirmaron las sospechas de Madrid sobre las intenciones de secesión de Andalucía surgidas tras la pasividad del duque de Medina Sidonia en la defensa de la frontera con Portugal. Al descubrirse el plan, el duque de Medina Sidonia, Gaspar Pérez de Guzmán y Sandoval, traicionó a su primo pactando con el rey Felipe IV y acusando a éste de traición, lo cual condujo al Marqués de Ayamonte a un procedimiento judicial y a la decapitación en el alcázar de Segovia en el año 1648.
El día primero de noviembre de 1755, estando los fieles en la misa de «todos los santos» entre las nueve y las diez de la mañana, se experimentó en Ayamonte un terremoto (terremoto de Lisboa) que durante 14 ó 15 minutos dañó casi todos los edificios de la ciudad, arruinando y desmantelando muchos de ellos. En el castillo, que ya estaba en mal estado, murió sepultado bajo los escombros que se desmoronaron, un soldado de la guarnición que lo guardaba. En el primer cuarto del siglo XIX en las citas que se refieren al castillo se refleja el mal estado de conservación del mismo derivado del terremoto citado, aunque certifican que sigue acuartelando tropas.
A finales del siglo XIX, debido a su emplazamiento estratégico y de vanguardia, llegó incluso a convertirse en una de las subprefecturas francesas durante la Guerra de la Independencia.
El castillo llegó al siglo XX en ruinas. En agosto de 1921, bajo la alcaldía de Antonio García Gutiérrez, fue techada una de las «habitaciones» de lo que quedaba en el interior de la muralla, instalando allí un pequeño museo con piezas arqueológicas pertenecientes tanto al entorno del castillo como a otros «yacimientos arqueológicos» por todo Ayamonte. A esto se añadía la imprescindible presencia de un guarda que vivía en el mismo lugar con su familia bajo el sustento del consistorio. Desaparecida esta iniciativa consistorial y el guarda que lo conservaba, el castillo cayó en el más absoluto abandono y fue víctima del pillaje, como «cantera» de materiales de construcción. La construcción del Parador de Turismo, que acabó con los restos que perduraban del castillo, fue aprobada en Consejo de Ministros en Madrid en fecha 11 de octubre de 1963, tras la propuesta realizada por el antiguo ministerio de Información y Turismo. En 1964 se produjo la demolición definitiva de los restos del castillo que aun perduraban para la construcción del Parador Nacional de Turismo.