En el cerro del Castillo, el cual domina el pueblo desde el Sur, de forma redondeada y sin demasiadas aptitudes para la defensa. El cerro ha sido demasiado humanizado durante siglos, transformándolo por completo.
Del castillo no quedan restos.
En el siglo XVII se dice que existía en Vegas de Matute un castillo antiguo bastante arruinado en algunos puntos, del que subsisten tres torreones que denotan mucha fuerza, creyéndose que sería fortaleza muy importante en aquella tierra.