Los restos del castillo se pueden encontrar en la parte alta del pueblo, en la Plaza del Castillo, valga la redundancia.
Prácticamente desaparecido. Apenas ha quedado un lienzo y la base de un cubo.
Lienzo del castillo. Hasta hace pocos años se encontraba diáfano, pero ahora (diciembre 2023) la hiedra ha comenzado a ocultarlo.
El castillo era de planta rectangular y pequeñas dimensiones con medidas de unos 25 metros de largo por 15 de ancho. Contaba con seis torres cuadradas, una en cada esquina y dos más. Pero tan solo han llegado hasta nuestros días, en estado de total ruina, los restos de una pared de unos 20 m de largo y unos 4 m de altura, formada por un encofrado de mampostería trabada con mortero de cal.
Próximo a esta pared encontramos la base maciza de un posible cubo con el mismo tipo de fábrica. Parece de planta cuadrada (4 m de lado). Tanto el lienzo como la base de la torre se encuentran adosados a edificios modernos, lo que impide su buena visualización.
Se cree que el castillo fue erigido en la segunda mitad del siglo XII. La primera referencia histórica al lugar aparece en la concesión por parte de Ramón Berenguer IV del término de Cambrils a Pons de Regomir, el año 1152, en la que Alforja consta como límite Norte del término. Posteriormente, en 1158, Ramón Berenguer IV entregó las tierras del valle de Alforja y la carta de población al caballero Ramón de Ganegot, que le había ayudado a conquistar Siurana. Años más tarde, en 1173, el arzobispo Guillem de Torroja ratificó la donación de Alforja a Ramón Ganegot. En el año 1181 el rey Alfonso el Casto concedió a los hermanos Ramón y Bernat Ganegot la explotación de la mina de plata situada en el valle de Cortiella. Los bienes de este último pasarán a su sucesora Romeva, casada con Bertrán de Castellet, y a Bernat de Ganegot, en 1196. La villa permanecerá unida a este linaje hasta la mitad del siglo XIII, cuando el arzobispado de Tarragona compró los derechos feudales de la Baronía de Alforja. En 1314 la villa fue asaltada por los hombres de la baronía de Entenza, al creer que habían encarcelado un hombre de Samuntà. Los asaltantes, que no pudieron tomar la villa, fueron excomulgados por el arzobispo Guillem de Rocabertí, después de haber asolado una buena parte del término. El castillo de Alforja fue usado frecuentemente como residencia arzobispal durante el medievo.