Estuvo situado en una pequeña colina que ha quedado englobada por el crecimiento urbano y muy desdibujada. El lugar del castillo creemos que está delimitado por las actuales calles de Don Diego y Virgen del Castillo. Existe un solar vallado (junio de 2023) en el que se observan algunos restos.
Según documentos históricos en las tierras de Arganda existieron hasta tres castillos, todos desaparecidos: la Atalaya, que defendía el desaparecido poblado medieval de Vilches y del que ha quedado tan solo las ruinas de una ermita; el Castillejo, que defendía Valtierra, otro poblado medieval desaparecido y del que también se ha conservado parte de una ermita; y, finalmente, el Castillo, que controlaba el camino de Madrid y que fue el germen de la ciudad de Arganda.
Sobre sus restos se levantó la ermita de Santa María del Castillo entre 1350 y 1450. Aunque en las Relaciones de Felipe II se comenta que todavía quedaban restos del castillo, en medio de los cuales se había construído una ermita. Posteriormente se convirtió en hospital y asilo Y luego, fue derribada en 1971.
En Internet circulan algunas fotografías antiguas de la ermita.
En esta otra imagen se observa la ermita sobre la colina dominando el caserío en el que todavía no se han levantado edificios de gran altura.
