Se encuentra situado en la parte más alta del casco urbano de la localidad, sobre un cerro redondeado, a 498 m de altura. Se puede acceder desde cualquier calle del pueblo, pasando por delante de la iglesia.
El castillo fue destruido en la primera mitad del siglo XX, tras lo que se habilitó su interior como cementerio, razón por lo que se le llamó durante décadas castillo del Cementerio. Afortunadamente, ahora en su interior existe un parque municipal. Queda prácticamente todo su perímetro, pero nada del interior.
Puerta del castillo, abierta en su lienzo occidental.
Lienzo occidental. Liberado al derribar unas casas adosadas, entre ellas la de la mujer del célebre bandolero el “Tempranillo”.
Castillo montano de planta irregular adaptada al espacio disponible. Durante siglos las casas se fueron adosando a los muros del castillo, ocultándolo en su mayor parte. Los mejores tramos han sido resultado de derribos de algunas de esas casas. Ocupa una superficie aproximada de 1.770 m2. Estuvo reforzado su recinto por cubos, de los que han quedado seis, uno de ellos semicircular. Solo tuvo una puerta en origen, situado en el lienzo oriental y defendida por el cubo redondo. Forma un arco muy basto, con lajas a modo de dovelas. En la actualidad es de propiedad municipal.
Lienzo que asoma por entre las casas, en su flanco Suroeste.
Lienzo Oeste. Está adosado por completo con casas y solo es posible verlo desde arriba.
Algunos sectores no están en demasiado buen estado.
En época andalusí su nombre era Bury al-Hakim (en árabe, Torre del Sabio o del Letrado), quien a comienzos del siglo XIV fue visir de la corte granadina de Muhammad III y caudillo de la Cancillería de Granada. Como asentamiento desde el siglo XI de la célebre familia rondeña de los banu al-Hakim, procedentes de Sevilla, terminó por configurarse como un hisn de frontera. A finales del siglo XV, el caudillo de esta familia haría frente a las tropas cristianas en el Noreste de la actual provincia de Cádiz. En 1327, la presión militar cristiana tras la toma de Olvera, obligó a sus habitantes a buscar refugio en Ronda. Pero la dominación cristiana solo duró seis años, volviendo a manos musulmanas. A principios del siglo XV fue de nuevo tomada por los cristianos, permaneciendo durante décadas en poder de la familia Rivera, titulares del Adelantamiento de Andalucía. En 1485 fue conquistada definitivamente por el marqués de Cádiz, volviendo al señorío de los Rivera. Tras extinguirse la línea masculina del linaje, acabó en poder de la casa de Medinaceli.
Lienzo Norte. Apuntalado.
Cubo circular que defiende la entrada.