Se encuentra a la entrada de la población desde la carretera de Cuenca, sobre un meandro abandonado del río Escabas, que forma un pequeño e inexpugnable cerro de acceso bastante complicado. Es de propiedad particular y el camino permanece cerrado, aunque desde la gasolinera surge un sendero un tanto difuminado y de arriesgada belleza que nos lleva hasta él.
Muy mal estado. Sus restos se limitan a la torre del Homenaje y a algunos muros dispersos, pero muestran una avanzada degradación.
Torre del Homenaje. Situada en el extremo Este del castillo, frente al pueblo, su mal estado es evidente.
Bóveda sostenida por arcos fajones de la primera planta de la torre del Homenaje.
Castillo montano de planta irregular adaptada al espacio disponible en el pequeño cerro en que se asienta. Ocupa una superficie de 4.200 m2 aproximadamente. Sus muros discurren al borde de los cortados rocosos, contando con la torre del Homenaje al Este, frente a la población y con otra gran torre en el lado opuesto de la que queda un lienzo con un gran vano. Queda una puerta, en buen estado, situada al Noroeste, pero es de acceso muy complicado, solo para personas andando. Incluso con caballerías resulta casi imposible acceder a ella. Por tanto, debió contar con otra puerta principal en su parte meridional, la más accesible, pero no queda rastro de ella. El conjunto del castillo presenta varios recintos escalonados de pequeñas dimensiones entre los que se puede apreciar, semiocultos por la vegetación muros que los seccionaban. Destaca la empinada escalera, bastante maltrecha, que se haya al traspasar la puerta. Todos los restos conservados tienen fábrica de mampostería.
Cerro del castillo.
La puerta que se conserva actualmente presenta arco de medio punto al exterior y escarzano al interior. Todavía existen los quicios de las puertas y los huecos para las trancas. Para acceder hasta ella hay que hacerlo por una estrecha cornisa en la roca de forma un tanto peligrosa, pues cualquier despiste puede conducirte al fondo del barranco.
La torre del Homenaje es llamada Torreón de Despeñaperros. Tiene planta pentagonal irregular, cuenta con tres plantas y terraza defensiva, que mantiene su parapeto con escasos vestigios de almenas. Está construído en mampostería y sillarejo, con sillares en los ángulos y vestigios de ladrillo en los tres vanos, que pueden ser fruto de reformas posteriores. La altura de este torreón supera los veinte metros (en otros sitios dicen 12) y está emplazado sobre una elevada roca, trabajada para acentuar su verticalidad y reforzada con tramos de sillarejo para evitar las irregularidades que facilitasen la escalada. La torre presenta un gran espolón hacia el Norte, bajo el cual nacen las murallas del recinto exterior, encontrándose las ventanas en el frente Este, mirando a la ciudad, lo que no resulta lógico desde el punto de vista militar. Se encuentra en un pésimo estado.
Cueva de la Mora. Se cuenta una leyenda del siglo XIII, en la que un poderoso rey moro que vivía cerca del castillo, Muley Habas, tenía una hija llamada Zobeya. Zobeya se enamoró de un noble cristiano hijo del dueño del castillo. Zobeya quería casarse con el noble, pero al enterarse el padre mandó llamar a unas brujas que la convirtieron en una serpiente y todo joven que fuera a la cueva de la mora a ver a la serpiente se convertiría en piedra.
Lienzo perteneciente a la torre que se encontraba en la zona Oeste.
Muros existentes en la parte meridional.
Cuando en el siglo XIII los árabes fueron replegándose por la Reconquista, la zona fue ocupada por los cristianos, y en agradecimiento por los servicios prestados, el rey Alfonso X casó con su prima Doña Urraca y entregó en dote Priego y otros territorios del Obispado de Cuenca y Tierra de Molina a Garci Gómez Carrillo, cuyo hijo, Alonso Ruy Carrillo se convirtió en el primer Señor de la Casa de Priego y Escabas, de la que sería nombrado alcaide por Femando IV en 1298. No obstante, el castillo se mantuvo en manos árabes hasta el año 1328, en que fue entregado al rey Alfonso XI. En 1348 Juan Alonso Carrillo fundó la Casa Fuerte de Priego, y su nieto Pedro Carrillo, halconero mayor de Juan II, se casó con Doña Guiomar de Sotomayor, correspondiendo a su única hija, doña Teresa Carrillo, el origen del Condado de Priego mediante matrimonio con don Diego Hurtado de Mendoza, título que fue concedido por el rey Enrique IV. Este matrimonio dio lugar al linaje de los Carrillo de Mendoza, y se realizó con la condición de que el hijo primogénito llevase el apellido y armas de Carrillo, perpetuándose éste a lo largo del tiempo. Uno de los miembros de esta familia, don Fernando Carrillo de Mendoza, sexto conde de Priego, Camarero de don Juan de Austria, con dos de sus hijos, participó en la batalla de Lepanto, siendo el encargado de anunciar en España esta victoria en 1571, de la que se trajo un gran pendón otomano que colocó en la villa y que fue robado luego por los franceses.
