Se supone que el primitivo recinto de Villafamés correspondía a la parte alta de la población, donde se localizan el castillo, la antigua casa de la villa, la iglesia de la Sangre y las calles adyacentes, ampliándose en las postrimerías de la dominación musulmana en un recinto cuadrado entre el castillo, calle del Hospital y Torreta hasta unirse de nuevo al castillo por el lado Este.