Sobre una elevación, junto al río Ebro, entre éste y el caserío. Mientras que por la parte del río presenta gran altura, por la parte del pueblo es tan solo una ligera colina. Se puede acceder con vehículo por el camino del cementerio.
Su estado es pésimo. Apenas queda un pequeño sector de un muro.
Desde el pueblo, por el Este, encima del polideportivo, es tan solo una pequeña colina.
Mientras que por el Oeste, donde discurre el Ebro, presenta una altura imponente.
Los escasos restos conservados impiden deducir cómo fue la estructura del castillo. Además de los pocos restos conservados, aparece la vegetación que oculta los cimientos. Existe una especie de meseta (50 x 30 m) rodeada por lo que podría ser un foso en todos sus flancos excepto por el Oeste, donde está el río. Tan solo se conserva, en su extremo meridional, un enhiesto muro informe de mampostería compuesto de piedras irregulares trabadas con mucho mortero de yeso. Ha perdido mucha altura y el mortero está completamente descompuesto, lo que podría producir el derrumbe del muro en cualquier momento.
Fue construido en 1165, cuando Alfonso II lo cedió a los mojes cistercienses del Salz (predecesora de Rueda) acordando con un tal Pedro Capallo la construcción de un castillo. Aunque se erigió en época cristiana el sistema constructivo es claramente islámico. En 1199 la villa y fortaleza de Alborge pasaron a manos del Monasterio de Rueda. En el siglo XIV, pasaron a formar parte del señorío de Sástago, para después volver a manos del Monasterio de Rueda, permaneciendo así hasta el siglo XVIII.
Desde el castillo de Alborge se divisa con claridad el Fortín de Sástago.