Las murallas de Ráfales rodeaban el casco urbano comenzando y terminando en el castillo. En la actualidad solo se ha conservado un cubo llamado “La Torreta” y tres de sus portales (el Portal de Boira o de Moneja, el Portal de la Villa, defendido por la Torreta y el Portal de San Roque).
PORTAL DE BOIRA O DE LA MONEJA. Es el acceso Norte. De la construcción original se conserva gran parte de la pared exterior de mampostería y el arco de entrada de medio punto adovelado. Posteriormente, se construyó una casa en la parte superior a la que se accede desde el paso interior.
PORTAL DE LA VILLA. Esta era la entrada meridional. Parece que es el elemento más antiguo conservado, construído en el siglo XIV. Está protegido por la Torreta. En el siglo XVI se construyó el ayuntamiento adosado a la muralla y una nueva puerta de entrada en la misma pared extramuros del edificio consistorial. Está formada por un arco de medio punto con grandes dovelas. A la derecha presenta una aspillera.
LA TORRETA. Debió construirse entre los siglos XIV y XV. Formaba parte de la muralla medieval de la población que cerraba el pueblo y protegía el Portal de la Villa. Es de planta cuadrada y tiene una única ventana en su parte superior que fue ampliada con posterioridad. Mantiene una altura de cinco pisos. Después de perder su función defensiva pasó a formar parte de la Casa del Heredero.
PORTAL DE SAN ROQUE. Este portal se comunica con la calle meridional o del castillo. Forma parte de un espacio arquitectónico extremadamente complejo y muy rico en detalles. Bajo los pórticos de la Plaza Mayor y comunicando con el edificio del Ayuntamiento, se encuentra este portal con un arco de medio punto y desde la calle del Castillo por medio de un doble arco: uno rebajado y el otro de medio punto. En el interior del portal hay una pequeña hornacina donde se encuentra una imagen de San Roque. El portal está sobre una edificación superior que presenta una fachada sencilla revocada, con un balcón de madera.