A mitad de camino entre fortaleza defensiva y palacio, el castillo fue edificado en el siglo XVI gracias a la iniciativa de los Marqueses de Villafranca, la familia Toledo.
Fueron precisamente la hija de la primera marquesa, María Osorio Bazán y su marido, Pedro Álvarez de Toledo los creadores del actual castillo, aunque los restos que todavía quedan y la documentación existente hacen referencia a un castillo anterior.
Su sólido aspecto viene dado por su estructura de gran cuadrilátero con cubos circulares en las esquinas, con estancias palaciegas que se articulan en torno a un patio interior.
Esta robustez arquitectónica no está reñida con un innegable donaire.
Su puerta principal está construida en ladrillo y se adorna con el escudo de don Fadrique Toledo y Osorio, tercer marqués de Villafranca del Bierzo. También hay otros ilustres blasones en el castillo como el de los Zúñiga, segundo marqués de Villafranca, el de los Osorio, de Luis Pimentel Pacheco, primer marqués de este linaje, casado con Juana Osorio y Barazán; y finalmente el del conde de Benavente.
Como características propias del edificio, es preciso reseñar la belleza de la torre del homenaje que llama la atención por su elegancia y admirable situación. Es de planta circular, realizada en buena mampostería, y coronada con un tejado de pizarra típico de esta comarca.
Otra de las particularidades de este recinto es que cuenta con una terraza de naves abovedadas, destinada a una plataforma para cañones. Además todavía se conserva el profundísimo pozo que antaño proporcionaba agua a sus habitantes.
Durante la Guerra de la Independencia fue desmantelado por ingleses y franceses y también usado como prisión.
Fue rescatado de ese estado ruinoso por la restauración del Conde de Peñarramiro, a finales del XIX.
Actualmente pertenece a los herederos de los Marqueses de Villafranca.
