Cabolafuente se sitúa en una colina de 956 m de altura, apenas a cinco kilómetros de la frontera castellana, lugar estratégico y rodeado de castillos, tanto en la parte aragonesa como en la soriana. A pesar de ello, no tenemos constancia de que existiera algún castillo en este lugar. En cambio, la iglesia, situada en la cumbre, parece que posee alguna aspillera en su maciza torre. Quizá fuera una antigua torre atalaya.
