Lugar en que estuvo la puebla.
La extraordinaria posición del lugar no se limitaba tan solo al castillo encima de una gran roca, sino que la puebla se alzaba en el resto de peñas rocosas meridionales, con las casas amontonadas unas sobre otras sin espacio apenas. Son conocidos desde antiguo numerosos derrumbamientos por lo que, ante la dificultad de vivir en este lugar, se levantaron arrabales extramuros. De ellos ha quedado tan solo el pequeño caserío del Barrio del Santuario en su ladera oriental.
Su estado es similar al del castillo. O peor incluso, puesto que es la zona donde se alza el santuario y recibe miles de visitas a lo largo del año con la degradación que eso conlleva..
Lienzo oriental.
La muralla urbana discurría al borde de los escarpes, de forma irregular pero aprovechando hasta el más mínimo espacio. Ha desaparecido en su mayor parte, pero quedan algunos lienzos en la parte oriental y meridional. También aparecen algunos muros muy arruinados desperdigados por las cercanías del santuario. Todos los restos conservados son de tapial y mampostería, semejantes a los del castillo.
Algunos de los muros que han quedado en el interior del recinto.
Ves es nombrado por primera vez por Al-Idrisi a mediados del siglo XI. Ves adquirió gran importancia estratégica por ser el único paso practicable del río Júcar entre Alcalá y Cofrentes. En otoño de 1211, en las vísperas de la gran batalla de las Navas de Tolosa, se produjo una primera y efímera conquista de todo el altiplano de la Manchuela por parte de Alfonso VIII. El golpe de mano se completaría en menos de 15 días, tomando las plazas fuertes de Garadén, Alcalá del Júcar y Jorquera, y seguramente también el castillo de Ves. Pero en 1212, los musulmanes recuperaron Alcalá, junto con el Castellar y Ves, atacando desde Requena. Y en 1213, Alfonso VIII lo volvió a recuperar. En 1217 ó 1218 hubo una nueva contraofrensiva musulmana en que pudo caer Jorquera aunque poco después volvería el dominio cristiano, pues en 1224 Fernando III donó toda la ribera del Júcar a la orden de Silva Mayor, donación que pronto sería revocada por su incapacidad para repoblar y defender la zona. Con la consolidación del dominio cristiano, en 1243, el infante Alfonso otorgó a Lope López de Haro, el castillo y la villa de Ves. Alfonso X el Sabio transformó Ves en Villa de realengo. Y por primera vez tuvo éxito la repoblación de estas tierras. No obstante, parece que fue conquistado por tropas aragonesas de Jaime I durante las revueltas mudéjares de 1262. En 1272 se le concedió el Privilegio de Villazgo, separándola definitivamente de Jorquera. Se incorporó al señorío de Villena en 1282, debido a la guerra civil provocada por el infante don Sancho contra su padre Alfonso X.
Tras la Guerra del Marquesado y las capitulaciones de 1480, el Rincón de Ves quedó bajo la jurisdicción de la corona, separado del Estado de Jorquera. En las intrincadas guerras civiles que sacudieron a la Península en el siglo XV, la Villa de Ves se posicionó por dos veces con el bando realista, frente al bando nobiliario. En 1440 se alzó a favor de Juan II y en contra del rey de Navarra, quien ejercía de marqués de Villena en nombre del Príncipe de Asturias, don Enrique IV. Pasó brevemente al señorío de don Alonso Pérez de Vivero, cayendo finalmente en 1449-51, y por concesión de Juan II, en manos de don Juan Pacheco, flamante nuevo marqués de Villena, rompiendo la tradición por la cual el Marquesado se entregaba a un infante de la Corona, y granjeándose el descontento popular por quebrar los viejos privilegios de las villas. En 1475 Ves se alzó de nuevo, esta vez por los Reyes Católicos y contra Diego López Pacheco, en el contexto de la Guerra del Marquesado. Este alzamiento le valió para recuperar su condición de realengo, confirmada en las capitulaciones de 1480, mientras que las villas de Jorquera y Alcalá del Júcar permanecieron en manos de los Pacheco y la casa de Villena hasta mediados del siglo XIX. En 1745 el ayuntamiento fue trasladado a Casas de Ves, lugar mejor comunicado y con mejores aptitudes para la agricultura. Durante la Guerra de Sucesión, la Villa de Ves se mostró partidaria de Felipe V, por lo que recibió el título de Fidelísima. Perdió gran importancia al desaparecer las fronteras con el Reino de Valencia. Se sabe que fue ocupado por una partida carlista durante la Segunda Guerra, aunque no se vió involucrada en ninguna acción de armas. Ante la división de España en provincias y municipios en 1836, las tierras de Ves, se dividieron en tres municipios diferentes: Balsa de Ves, Casas de Ves y Villa de Ves.
En el extremo oriental de su término, junto al cauce del río Júcar existe una espectacular formación rocosa llamada Castillo de Don Sancho. Con este nombre sale en diferentes mapas cartográficos e, incluso en diversas fuentes modernas se da por hecho la existencia de un castillo en dicho lugar. Su semejanza con un castillo ha provocado estos errores. Tan solo es una formación geológica inaccesible sin nada que ver con fortificación alguna.