Se encuentra al Norte del casco urbano, sobre una ligera elevación de 59 m de altura, junto a la carretera y junto al río Gayá. Se alza sobre los restos de un poblado fortificado de la Edad del Hierro (siglos VII-V a.C.) cuyos restos se pueden observar, tanto en el exterior como en el interior del castillo. Su visita está regulada turísticamente.
Su estado es bastante bueno, aunque lejos del esplendor original. En el año 2002 el ayuntamiento se hizo con la propiedad y comenzó la excavación, consolidación y restauración de los restos. Alberga en la actualidad el Centro de interpretación de los castillos del Bajo Gayá.


Entrada. Actualmente se cruza el foso mediante un arco de piedra, pero antaño fue con puente levadizo.
Castillo montano de planta irregular, con un solo recinto y los ángulos reforzados con grandes torres cuadrangulares. Excepto su flanco septentrional, el que da a la carretera, el resto está rodeado de un foso excavado en la roca. Ocupa una superficie aproximada de 1.450 m2. Su única puerta se abre en el flanco occidental, el más simbólico del castillo, puesto que es el que mejor se ve cuando se llega y el que más ha sido publicado en los diferentes medios. No es rectilíneo, sino que presenta un requiebro defendido por aspilleras que mantiene la puerta un tanto avanzada. La puerta actual es moderna, puesto que las dovelas de la puerta original gótica fueron expoliadas. Para llegar a la puerta y cruzar el foso se construyó un puente de piedra en el mismo lugar que existió un puente levadizo. El actual puente es moderno, pero ya en el siglo XVI se construyó otro del mismo material que fue destruído durante la Guerra de los Segadores. En su interior hay una parte cubierta que alberga el Centro de Interpretación y otra en que aparecen restos de diversas construcciones del castillo, como un patio central, alrededor del cual se organizaban las diferentes dependencias dedicadas a la transformación y almacenamiento de los alimentos (silos, horno de pan, tienda y molino de aceite, pozo, cisterna, bodegas, etc). Debido a las numerosísimas remodelaciones y transformaciones sufridos por este edificio a lo largo de los siglos, el recinto presenta una gran diversidad de paramentos y aberturas.


Frente Sureste. Aquí se aprecia la gran diversidad de su fábrica.
A ambos extremos de la fachada principal se encuentran dos grandes y destacadas torres de planta rectangular. Son las dos de similares características constructivas, con mampostería formando hiladas horizontales, mientras que los ángulos están reforzados con sillares bien escuadrados. Ambas torres tienen planta baja, dos pisos y azotea. Las dos presentan en todos sus lados vanos de pequeño tamaño y numerosas aspilleras. Y las dos carecen de almenas estando rematadas con un parapeto corrido. Las primeras plantas se cubren con bóvedas apuntadas apoyadas sobre impostas.
La torre Sur (6 x 4 m) mide 16 m de altura. Mantiene la puerta original en su lado Norte.


Foso.

La torre Norte (6 x 4’5 m) mide 17 m de altura. A la torre Norte se le adosó, parece que poco después de terminada la obra, un cuerpo también rectangular que duplica la longitud de las estancias interiores. Destaca la existencia de una letrina.


El elemento más antiguo del castillo es la torre Norte, probablemente del siglo XI. En el siglo XIII ya estaba levantada una muralla de tapial ya finales del siglo XIV y principios del XV se adosaron una serie de estancias en la torre Norte. También en esa época se construyó la torre Sur. En el siglo XV se construyeron la mayoría de estancias internas del castillo y durante todo el siglo XVI se realizó la sustitución de la muralla de tapial por una nueva de mampostería. Una vez terminadas sus funciones defensivas, las intervenciones posteriores en el castillo se limitaron a pequeñas obras con el objetivo de adaptar viejas estancias a actividades de tipo productivo, que no cambiarán el aspecto externo del castillo. En el siglo XIX estaba en ruinas y a principios del XX su interior fue derribado y terraplenado por sus propietarios para construir un jardín.

Imagen del foso desde el Norte.
El término de Catllar formaba parte del territorio cedido por el conde de Barcelona, Ramón Berenguer I, a Pons de Montolíu en 1066. El 30 de abril de 1136 los hermanos Bernat y Arnau de Viver establecieron un acuerdo con Ramón de Puigmoltó sobre una concesión en el término de Catllar. En 1186 los hermanos Viver, junto con sus hijos de apellido Montolíu, hicieron donación de los diezmos de Catllar al arzobispo de Tarragona. El linaje de los Montolíu mantuvo su señorío hasta el año 1351, fecha en la que Berenguer de Requesens, casado con Blanca de Montolíu, vendió a Bernat de Olzinelles, tesorero de Pedro III el Ceremonioso, el castillo y villa de Catllar por 11.000 libras. En 1358, siendo señor del lugar Bernat de Olzinelles, el castillo de Catllar fue protagonista de una revuelta de algunos caballeros que se hicieron fuertes en el castillo, con motivo de las imposiciones de Pedro III para sufragar las guerras contra Castilla. Poco después fue asediado por tropas leales y los caballeros sublevados fueron deportados a Cerdeña. En una fecha anterior a 1379, por enlaces matrimoniales, el castillo pasó a los Queralt, señores de Santa Coloma. La guerra civil catalana en la segunda mitad del siglo XV afectó de forma grave al castillo. El pueblo, contrario a Juan II, fue asediado en agosto de 1464 por el conde de Prades, pero no consiguió tomarlo. Pocos días después su defensor, Menaut de Beaumont, lo entregó a los realistas cuando se enteró que el prior de Navarra había entregado Villafranca del Panadés a Juan II. El castillo quedó en ruinas.

El 6 de agosto de 1481, Leonor de Pallars, sin hijos, con un matrimonio difícil y cargada de deudas, donó la baronía de Catllar a su pariente Dalmau I de Queralt, barón de Santa Coloma. Sin embargo, en 1488, a pesar de la donación, la misma Leonor otorgó testamento a favor del capítulo catedral de Tarragona, que había adquirido determinados derechos sobre Catllar gracias a unos censales empleados por su madre, Juana de Queralt. Ambas decisiones, evidentemente contradictorias, enfrentaron judicialmente a los Queralt y los canónigos tarraconenses durante todo el siglo XVI. Con todo, fue Dalmau I quien tomó posesión del señorío de Catllar el 26 de abril de 1489.
Guerau II de Queralt, inició el resurgimiento de la baronía reconstruyendo y reforzando el castillo. En tiempos de su hijo Guerau III destaca el episodio de 1592 cuando el castillo es asediado por más de cien hombres causando importantes daños. La rehabilitación del palacio condal de Santa Coloma a finales del siglo XVI hizo que los condes trasladasen su residencia a Santa Coloma y el castillo de Catllar quedó habitado sólo por los arrendatarios y por el mayordomo.
La pujanza de los condes de Santa Coloma, favorecidos siempre por la corona, llevó en 1638 a Dalmau III a convertirse en virrey de Felipe IV en Cataluña. Problemas económicos, mezclados con intentos desesperados de evitar la absorción total del Principado en la corona de Castilla ocasionaron su muerte el 7 de junio de 1640. También esta vez Catllar se posicionó contra el rey. En 1641 la villa fue saqueada por parte de las tropas castellanas, y dentro de su término fueron atacadas las fuerzas reales de Federico Colonna, condestable de Nápoles y príncipe de Butera. Los Queralt continuaron como señores hasta el fin de los señoríos, en 1837.
Con el tiempo, el edificio se deterioró de forma notable. Las reformas se limitaron a las reparaciones más imprescindibles, al tiempo que el edificio se utilizó como espacio agrario, tanto en el aspecto de transformación de los productos como en el de almacén y prisión. El 12 de mayo de 1842 Juan Bautista María de Queralt y Silva vendió la baronía de Catllar al comerciante de Vich, José Safont, a quien debía dinero. Cabe decir que durante los años veinte del siglo pasado, los propietarios del castillo transformaron el interior del recinto en jardín, para lo que se acabaron de derribar las construcciones existentes, aportando tierras para nivelar todo el espacio y cubriendo los restos constructivos. En 2002 el ayuntamiento adquirió el castillo, hasta entonces de propiedad privada, e inició los trabajos de excavación arqueológica de su interior y posteriormente los de su recuperación y consolidación.
