Del antiguo castillo de Aguarón queda bien poca cosa, si es que queda algo. Se alzó en una colina existente en el centro del casco urbano, al Sur de la iglesia, donde ha quedado su existencia reflejada en el callejero urbano. Pero lo más interesante es un edificio con forma de torre que es asignada por todos los autores consultados como parte del castillo. Posee planta cuadrada (6’5 m de lado), la base en talud y, hasta hace poco tiempo, contaba con una aspillera debajo del alero. Desafortunadamente, este edificio fue restaurado hace unos años y la aspillera fue eliminada.
Vivienda con forma de torre que pudo formar parte del castillo.
Aunque estaba ubicada dentro del territorio de la Comunidad de Daroca, el señorío perteneció desde el siglo XII hasta principios del XIX al monasterio de monjas bernardas de Trasobares. En 1357, durante la llamada Guerra de los Dos Pedros, las monjas se trasladaron al castillo de Aguarón, por haber sido destruido Trasobares. El rey Martín I concedió el 9 de marzo de 1398 la jurisdicción y otros derechos sobre Aguarón a la abadesa de este monasterio cisterciense. A principios del siglo XV volvieron a residir en el castillo de Aguarón, al ser expulsadas por el Papa Benedicto XIII de su convento, al que volvieron en 1419. Las rentas de Aguarón pasaron al rey Alfonso V, que vendió ciertos censos sobre este lugar; posteriormente fue reintegrado el señorío al monasterio de Trasobares. Las monjas vieron en la coronación de Martín V la salvación del severo castigo impuesto por el pontífice y Roma les concedió su perdón y la facultad de volver a residir en Trasobares, dejando su provisional asilo de Aguarón en 1419.