El castillo se enclavó en pleno centro del casco urbano de Albudeite, sobre un promontorio situado sobre la margen derecha del río Mula. Por el Sur estaba delimitado por la rambla homónima y por el Norte con el cauce del río, por lo que disfrutaba de buenas condiciones defensivas naturales.
La construcción de la nueva trama urbana de la población a partir del siglo XVII, destruyó la mayor parte de los ya de por sí arruinados restos. Evidentemente se utilizaron los materiales del castillo para levantar las nuevas casas. Y a pesar de que en diversas fuentes se indica que todavía quedan restos entre las casas, nosotros no encontramos ninguno. Si quedan deben de estar en el interior de las viviendas. Por otra parte, el sector septentrional que da al río, está fuertemente erosionado. Las numerosas avenidas del río a lo largo de los siglos han socavado y destruído todos los restos que hubieran aquí.
Es muy posible que el lugar de Albudeite fuera fortificado en época islámica, en torno a los siglos XI o XII, cuando la presión de los reinos cristianos por el Norte, y de las oleadas de los nuevos imperios musulmanes surgidos en el Norte de África, venían a poner en peligro la integridad territorial del sureste andalusí, y en concreto de la cora de Tudmir y la cuenca del Segura. Sin embargo, el protagonismo medieval de la fortaleza de Albudeite nos es conocido ya a través de las crónicas y fuentes documentales cristianas. Así, la incorporación del reino de Murcia a la corona de Castilla, en 1243, significaría con fecha algo posterior la conversión del lugar en señorío, junto al vecino lugar de Campos. Albudeite y su castillo fueron enajenados por el propio monarca del patrimonio regio, y cedidos a Sancho Manuel, descendiente también de la estirpe real castellana. La fortaleza se convirtió entonces en el símbolo del poder señorial sobre los territorios de su jurisdicción. Posteriormente, fortificación y núcleo urbano quedaron vinculados, por compra, a los López de Ayala, una importante familia de la nobleza murciana. El periodo señorial de esta familia iba a terminar en 1510, cuando los herederos del mayorazgo vendieron el señorío de Albudeite a Luis de Guzmán, un personaje cortesano que había sido enviado por los Reyes Católicos para planificar las diferentes acciones que condujeron a la expulsión de los judíos de las aljamas murcianas. El valor de venta se estableció en 856.000 maravedís, por fortaleza, horno, molino y términos. Con la expulsión de los moriscos (y la progresiva y definitiva conversión de los existentes), a comienzos del siglo XVII, la fortaleza comenzó a perder el sentido defensivo y simbólico, por lo que fue gradualmente absorbida por el trazado urbano, y sus muros y torreones aprovechados por los pobladores para construir sus nuevas casas.
