En el casco urbano, sobre la pequeña colina en que se alza la iglesia y las casas más antiguas. Apenas son unos metros, pero con respecto a la gran llanura colindante debieron constituir un importante hito en la comarca. Se postula que el castillo estuvo ubicado entre las actuales calles de la Botica, Rejadorada, Lana y Sacramento, en la esquina Noroeste del recinto murado, que se ampliaba a las calles del Rosario, Triunfo y Regato,
Desaparecidos. Debido a los materiales con los que estaban construídos a base de adobes y tierra apisonada, fácilmente desintegrables, su desaparición ocurrió en fechas muy tempranas.
En 1156 son citados los tenentes de la villa, y si hay tenentes debió existir una fortaleza. Al recibir la villa el comendador de Castrotorafe en 1498 realizó alguna pequeña obra en el castillo para que pudiera vivir allí su alcaide. Y todavía en 1501 vivía el alcaide en la fortaleza. Su estado continuó deteriorándose sin reparaciones. Hasta 1517 había puerta en la fortaleza, pero ese año el procurador general de la villa se la llevó para su casa, por lo que fue procesado. En 1751 se comenta que en el lugar del antiguo castillo no queda otra cosa que un gran promontorio de tierra. Cuando se construyó la Real Fábrica de Salitres a fines del siglo XVIII, el administrador del Duque del Infantado, señor de la villa, trató de comprar las ruinas del castillo pro no hubo acuerdo. A partir de entonces y a lo largo del siglo XIX se reparceló para vender pequeños solares y construir casas.
Villafáfila desde el Sur.
En 1165 se hace referencia a que Villafáfila contaba con una muralla de tierra apisonada, muy gruesa con algunos refuerzos de piedra y ladrillo, y que algunas puertas se llamaban de san Juan o de Santiago. La cerca debió tener planta cuadrangular, tal como se aprecia en el callejero urbano, con cuatro puertas que se abrían a cuatro caminos que se dirigían a los cuatro puntos cardinales, encerrando una superficie de 4 Ha.
En 1332 Villafáfila y el castillo de la villa, pasaron a ser propiedad de por vida de don Juan Alfonso de Benavides al casarse en segundas nupcias con doña Mayor Vázquez de Minzo que llevó en su dote la villa y el castillo. En 1497 perdido su papel defensivo, la fortaleza se cayó y en la cerca se hicieron muchos portillos para dar continuidad a las calles que se dirigían a ella, mientras los vecinos empleaban el tapial derrumbado para sacar tierra. En 1499 ya se cuenta que el estado de la cerca, hecha de tapial, estaba muy deteriorada. A partir de 1555 se iniciaron las ventas de porciones de la cerca a los vecinos de Villafáfila con cuyas casas o corrales limitan y que incorporaron a los mismos, a cambio de pagar anualmente una o dos gallinas según la superficie. Las longitudes de estos trozos son variables pero la anchura parece que rondaba los 15 pies.
