Está situado al Sureste de la pedanía de Pilas de Algaida, a tan solo 1’7 km, junto a un caminillo que se dirige hacia algunos cortijos cercanos. En cambio está muy alejado de Alhama, a más de 14 km. Parte de sus restos quedan en el interior de una finca vallada a la que no es posible penetrar.
En la Guía Digital del Patrimonio Cultural de Andalucía se le identifica con el nombre de Castillo de Zafarraya, pero en otras fuentes aparece como Castillo de la Torrecilla. Posiblemente se confunda con los restos existentes sobre una peña, 900 metros al Oeste, y que sí aparecen como Castillo de la Torrecilla. Tanto los topónimos como las descripciones de estos dos enclaves son confundidos y mezclados.
Castillo roquero de reducidas dimensiones y extraña estructura. O más bien parece una torre con un recinto que podría ser de planta cuadrada (15 m de lado). El recinto ocupa un área aproximada de 225 m2, y adosado a su muro Sureste ha quedado la base de un torreón (4 x 5’5 m) que, junto al muro, conservan un alzado en torno a los 4 m. La fábrica de sus muros es la mampostería dispuesta en hiladas, algunas con aspecto de verdugadas. El espesor del muro ronda los 1’80 m. Cuenta con vestigios de un aljibe. Todas las medidas son aproximadas puesto que su mal estado, la vegetación que lo cubre y la imposibilidad de llegar a él, hacen muy complicado ajustar la exactitud. En pleno lienzo meridional ha crecido una gran higuera que está destrozándolo. Sería muy conveniente eliminarla.
