Declarado Bien de Interés Cultural (BIC) desde 1949.
Poco más que el recuerdo queda del Castillo de Castrocalbón, cuyas ruinas desvelan que estuvo emplazado en la parte más alta del pueblo, al lado de la ermita de la Virgen del Castro.
Los restos que aún se conservan del castillo, un arco de sillería y un paredón no se ha podido determinar con exactitud el origen de la construcción, pero diversos objetos de metal, piedras de sillería, columnas, capiteles, numerosos fragmentos de cerámica e incluso pisos empedrados superpuestos, que han salido a la luz en diversas excavaciones, hacen sospechar que la fortaleza pudiera ser obra de los templarios, que levantaran el castillo aprovechando restos de construcciones anteriores.
También, pero sin absoluta certeza, se cree también que este castillo pudiera haber pasado a manos de los Ponce de Cabrera, señores de la villa, tras la desaparición de la Orden del Temple.
Con más seguridad, se afirma en los escritos, que la construcción de los arcos debió ser más tardía, quizá del siglo XV, coetáneos a la ermita.
En referencia al castillo, y muy destacable, es el Fuero de Castrocalbón, otorgado por el rey leonés Alfonso VII en 1152 y basado en el Fuero de León de 1017. Está compuesto por 26 artículos en los que se regulan las relaciones de los vecinos, los derechos del señor o los mercados. La casa de Medinaceli guarda una copia de este fuero.