En la parte alta del pueblo, entre las casas.
Hemos encontrado referencias acerca del castillo de Villores, y algunas de la torre de Villores. Hablan incluso de la gran extensión de sus restos. Lo cierto es que hay un edificio en el casco urbano, similar a una vivienda cualquiera, que es llamada por los vecinos “el Castell”. No cuenta con ningún tipo de defensa, ni sus muros y sillares parecen pertenecer a obra medianamente sólida alguna. Creemos que debía existir una pequeña fortaleza o torre defensiva con algún tipo de recinto en el lugar del edificio en cuestión. Es posible que en el interior o en sus cimientos se pueda comprobar este hecho por la existencia de restos en el subsuelo. Muy posteriormente a la fortificación, al construir la casa, tomó el nombre del lugar, hecho nada infrecuente.
Origen musulmán. Fue conquistado por Blasco de Alagón en 1234 pasando a posesión del monasterio de monjas de Sigena (Huesca). En 1476 fundaron un nuevo convento en Jérica, y Villores pasó a depender de él. En 1723, bajo el reinado de Felipe V, la familia Barroso consiguió el título de marqueses de Villores.