En la calle Carretas. Es la única casa fuerte de Segovia que se sitúa extramuros. Debido a un asesinato múltiple sucedido a finales del siglo XIX es conocido como “la casa del crimen”. Actualmente alberga un establecimiento hotelero de alto standing.
Palacio fortificado. Edificio renacentista del siglo XV que constituye un perfecto ejemplo del estilo plateresco castellano. El palacio, de planta rectangular y traza gótica, presenta en uno de sus testeros una ventana renacentista de granito, con moldura sencilla y adintelada, a la vez que el cuerpo superior se desarrolla una pequeña galería, la solana característica de las casas de pañeros, utilizada para el secado de los mismos.
En las jambas de la portada principal se conservan, cegadas, dos recias aspilleras de cruz y orbe.
De linaje antiguo y noble, entroncado con el infante aragonés Don Vela, hijo del rey de Aragón Sancho Ramírez, se supone que la de los Ayala sería una más de aquellas familias que atraídas por el auge y prosperidad de Segovia y su floreciente comercio de paños, se asentaron en ella a finales del siglo XV.