Sus restos los podemos encontrar en el interior del casco urbano, cercanos a la iglesia, sobre una ligera colina en medio del llano.
Pésimo estado. Tan solo podremos encontrar un muro almenado que apenas es visible al estar dentro de una parcela privada y un torreón transformado en vivienda que, prácticamente, no ha conservado ningún elemento original.
Gracias a la estructura urbana podemos deducir el espacio que ocupó el castillo. Y ocuparía la manzana que delimitan las calles Pradillo, San Francisco y Letra A. Actualmente en esta manzana, además del torreón, aparece la Casa de la Encomienda, la antigua casa parroquial y la iglesia. Subsiste un corto lienzo de mampostería (18 m) que conserva las primitivas almenas y una adusta torre rectangular (7 x 4 m) de alzado ligeramente tronco-piramidal, también de mampostería, a la que le falta su remate. Se dice que la torre conserva saeteras y una ventana semicircular antigua, pero nosotros no las hemos visto. Solo hay una saetera y está en el muro adjunto. Por otra parte, la torre ha sido transformada en vivienda abriéndole ventanas y balcones. La puerta de la torre se sitúa en la planta baja, y consta de un arco escarzano. Su interior está dividido en tres plantas conectadas por una escalera.
Situado en una indefensa llanura muy próxima a la frontera castellana, tuvo que protegerse con un castillo. Fue momentáneamente un señorío del monasterio castellano de San Salvador de Oña. Debe su apellido a haber pertenecido a la orden militar del Santo Sepulcro, desde 1236 hasta 1610. En 1449, Juan de Lanuza, capitán de las fronteras de Daroca, concentró tropas en Torralba y Used, debido a la guerra con Castilla.
El lienzo con las siete almenas queda en el interior de una parcela privada.