A unos 3 km. al Oeste del pueblo, sobre un cerro desgajado del núcleo principal de la sierra de Benicadell. Existe un camino que nace en la parte alta del pueblo, en buen estado, hormigonado a trechos, que pasa a escasos metros de los restos.
Muy mal estado. Tan solo queda la base de una gran torre.
Pequeño castillo roquero de planta irregular adaptada al espacio disponible. Actualmente su perímetro no se puede deducir pues ha desaparecido al completo. Queda, tan solo, la base de una torre, que debió ser de gran tamaño y apariencia formidable, a juzgar por el grosor de sus muros. Tiene planta rectangular y está abierta al interior, donde posiblemente tuviera un acceso. Su fábrica es el tapial, pudiéndose apreciar los agujeros del encofrado todavía. Desde esta fortaleza se dominaba el paso por el puerto de Albaida, que comunica las tierras de Alicante con las de Valencia, paso de vital importancia en el pasado. Este castillo formó parte del conjunto de fortificaciones de la Peña Cadiella (Benicadell) de la antigüedad.
De origen musulmán, Gayanes fue conquistada por Jaime I alrededor de 1244. Fue propiedad de Ximén Roiç de Corella, conde de Cocentaina. Su sucesor Gastón le otorgó carta puebla en 1611, ya que tras la expulsión de los moriscos quedó deshabitado.
