Lo encontramos sobre la colina que domina el pueblo desde el Sur, de 1.053 m de altura. Siendo por esto uno de los pueblos más altos de la provincia. Además, está a tan solo a 1.400 m de la frontera castellana. Se puede acceder sin problemas, incluso con vehículo. También es conocido como Castillo de los Heredia.
Tan solo quedan dos paredes de la torre y un cubo del recinto.
Esquina occidental. Tan solo quedan en pie los lados Noroeste y Suroeste.
Escudo de la familia Heredia, localizado en el muro Suroeste de la torre.
Vistos desde el Sur, el castillo y el cubo de la cerca. En medio se construyó un depósito de agua con forma de torre.
Castillo montano de planta regular, consistente en una gran torre, a modo de donjón, rodeada por un pequeño recinto con cubos circulares en sus cuatro esquinas. De la torre se ha derrumbado prácticamente la mitad, quedando tan solo las paredes Noroeste y Suroeste. En estos lienzos se nota que la torre, en origen, fue menor, ya que se conserva, en las dos caras, las líneas verticales de sillería de las esquinas de la primera torre. También parece que la mampostería sea de diferente color. Se cree que esta ampliación fue realizada por los Heredia en el siglo XIV, cuando colocaron su escudo en la pared. La torre es de grandes dimensiones (12 m de lado) y una altura de 15. Conserva algunas almenas y un aljibe completamente colmatado.
Rodeando la torre tuvo un recinto o barrera muy cercano, dejando una estrecha liza, también de planta cuadrada y reforzado con un cubo circular en cada esquina, de los que tan solo ha quedado el situado en el ángulo Norte.
La torre y el recinto previo con el cubo Norte. En la pared se aprecia la línea de la torre primera.
Frente oriental.
Frente meridional.
Parece que se encontraron restos romanos en el solar del castillo. Sisamón había sido incluidao dentro de los límites del fuero de Calatayud de 1131. Aparece entre 1142-1143, en el fuero de Molina concedido por Manrique Pérez de Lara, señor de Molina como límite de aquella comunidad. Y pese a que su castillo debió tener un papel destacado como frontera y lugar de cobro de tributos o impuestos aduaneros, no aparece en la documentación hasta la guerra con Castilla en el XIV. Pedro I el Cruel entró por la frontera y fue a asediar el castillo, pero al día siguiente levantó el sitio. En mayo de 1357 era alcaide Rodrigo González de Ayoza, que lo seguía siendo en 1361. El castillo fue conquistado por los castellanos en la ofensiva de 1362, y fue abandonado en abril de 1366. Entre 1376-1387 Pedro IV lo cedió en señorío a Sancho González de Heredia, que estaba casado con Donosa, hermana de los poderosos Blasco Fernández de Heredia (justicia de Aragón) y Juan Fernández de Heredia (gran maestre de la Orden del Hospital). Con ello el castillo pasó a ser la base patrimonial de una tercera rama de la familia Fernández de Heredia.
En el siglo XV pese a la paz con los castellanos, no cesaron las luchas en la comarca ya que los Liñán, señores de Cetina, se enfrentaron a los Fernández de Heredia. Se registra un duelo que requirió la intervención real en 1452 entre el señor de Sisamón, Juan Fernández de Heredia y el de Cetina, Alfonso de Liñán. Los conflictos armados nobiliarios mantuvieron el uso militar del castillo hasta la boda el 10 de marzo de 1509 de Juan Fernández de Heredia, señor de Sisamón, con Jerónima de Liñan, hija y heredera del señor de Cetina y Contamina Miguel de Liñán. Dicho matrimonio causó la unión de ambas casas, pacificó la comarca y sentó las bases del futuro condado de Contamina.
Sisamón. Castillo, muralla y, al fondo, el Moncayo.