Se ha extendido entre algunos autores modernos la teoría de que la iglesia de Villarrobledo fue levantada sobre un antiguo castillo musulmán, de forma parecida a otros lugares de la provincia, pero no hay restos arqueológicos ni es nombrado en documentos antiguos. Aunque sí es verdad que en diversas partes del templo aparecen profusamente los sillares reutilizados, aunque no sepamos su procedencia.
