Intramuros, junto a la iglesia. Se encuentra en ruinas consolidadas y cerrado al público, por lo que tan solo puede admirarse desde su exterior. Quedan restos de paredes de mampostería y algunas de adobe con arcos apuntados. También es conocido como Palacio de la Orden de San Juan.
El edificio de planta cuadrangular que ha quedado hoy día es tan solo una parte de lo que fue en la Edad Media. Cuando fue construido en el siglo XIII por la Orden del Temple tuvo gran importancia y, por consiguiente, buen tamaño. Incluso el horno existente al otro lado de la calle formó parte del castillo. La puerta principal se abre en el flanco Sureste, cubriéndose con arco apuntado y buenas dovelas. Cuenta con numerosos vanos de diferente factura y alguna aspillera. En el interior se ha conservado algún arco más, junto con escaleras y pavimentos originales.
A lo largo de los siglos fue reformado varias veces hasta que acabó convirtiéndose en una vivienda particular alrededor del siglo XIX y fue demolido en gran parte en la década de 1950. En 1999, el Instituto de Patrimonio Histórico Español realizó excavaciones en el lugar.
