Forma junto con el convento un singular conjunto arquitectónico, fundado en el siglo XVII como colegio ordinario de la Compañía de Jesús, cuya doble función docente y religiosa fue determinante en su diseño arquitectónico.
Fue fundado por Gabriel de Robles, primer tallador de moneda en el Potosí, y es un modelo del barroco-jesuítico.
En el año 1.822 se utilizó como sede de la Diputación Provincial al ser Villafranca capital de la provincia del mismo nombre. Posteriormente pasa a manos de los herederos del fundador, que venden el edificio a los PP. Paúles en 1.899, creando un colegio hasta el año 1.983 en que deja de funcionar como tal.
Las obras comienzan en 1.620 aunque la Iglesia es un poco posterior hacia la mitad del siglo XVII siendo la fachada y el claustro lo más tardío, posiblemente de finales del siglo XVII o XVIII y se observan influencias gallegas.
La fachada posee dos cuerpos que se separan por una cornisa y rematados por un frontón con el escudo de la Compañía de Jesús.
En su iglesia ocupa un lugar de honor el Santísimo Cristo de la Esperanza, patrón del El Bierzo, del que se dice que fue traído de América por el fundador del colegio , además de un retablo churrigueresco.
El convento, fundado a principios del siglo XVII por Desde el año 1913 lo regentan los Padres Paules , quienes han creado un Museo de Ciencias Naturales. En la actualidad también funciona como hotel y restaurante.
El Claustro está decorado con escenas de la vida de San Vicente de Paúl y pintado al fresco, una de las técnicas más antiguas de la Historia del Arte.
Los personajes históricos que aparecen en las ocho composiciones vivían realmente en las fechas en las cuales el edificio se construyó y están en consonancia con el estilo barroco del claustro.