Lo podemos encontrar junto a la iglesia y al Sur de la misma, sobre una colina de 890 m. de altura, que se alza imponente sobre el amplio vaso de la laguna de El Hito. Los vecinos lo denominan “el palacio”.
Prácticamente desaparecido. Tan solo queda parte de lo que parece un torreón pero, insólitamente, se ha recubierto de hormigón proyectado, suponemos que para evitar desplomes, pero el resultado ha sido lamentable.
Masa informe en que se han convertido los restos del castillo.
Según se cuenta desde antiguo constituía un recinto rectangular, cuya traza debió ser más bien sencilla y sobria. Ocupó el lugar en que hoy se ha habilitado un jardín, delimitado por la plaza de toros y la vertiente meridional de la colina, lugar muy propicio para albergar defensas. No fue demasiado vistoso ni monumental debido quizá, a que sus señores no tenían categoría relevante.
En 1752, en el Catastro de la Ensenada, los vecinos que declararon en él dibujaron su castillo. Y este fue el resultado.
Debió ser construído por los árabes hacia el siglo XI, inicialmente para defensa, pero una vez desapareció el peligro musulmán, se transformó en residencia palaciega. Desde 1294, perteneció a don Juan Manuel, Señor de Villena y en este Señorío permaneció hasta 1360. Se sabe que en 1323, don Juan Manuel estuvo fortificando esta zona, por lo que es posible que reparara el castillo de Montalbo, porque aquí pasaba temporadas de caza. Pasó más tarde a realengo hasta 1371 en que fue donado, con otras posesiones a don Alfonso de Aragón, Marqués de Villena, quien lo poseyó hasta 1398, año en que el Marquesado pasó a la Corona. A finales del siglo XIV, hacia 1399, en agradecimiento por parte del rey a los méritos y servicios prestados por el caballero portugués don Egas Coello, se le hizo donación del Señorío de Montalbo, El Hito y “otros lugares”. Sus sucesores en el Mayorazgo de Montalbo poseyeron el castillo hasta la abolición de los señoríos, siendo su último titular el Duque de Granada de Ega.
La historia del castillo está íntimamente ligada a la historia del Señorío de Montalbo. Esta fortaleza fue más bien el palacio señorial y residencial de los primeros señores de Montalbo, y en donde éstos podían llevar una relativa vida fastuosa. En la última etapa, su única función fue la de ser palacio-residencia ocasional y símbolo de poder de los Señores de Montalbo, quienes, con mucha seguridad, ni siquiera tenían aquí su residencia habitual. El castillo, deshabitado y abandonado se fue deteriorando y el paso de los siglos dio buena cuenta de sus dependencias y murallas.
A la derecha del campanario asoma el resto del castillo.