Situado junto a un talud vertical sobre el río Sil, que hace de defensa natural, la silueta del castillo demuestra la importancia del enclave de Ponferrada en la Edad Media.
Se asienta sobre lo que, probablemente, fue primero un castro celta y más tarde un emplazamiento romano y visigodo.
Su origen se establece en el año 1178, cuando el rey Fernando II de León permite a la Orden del Temple establecer una encomienda en Ponferrada.
Los templarios aprovechan los restos de esta antigua fortaleza y emplazan el castillo en 1187. Tras un periodo de largas vicisitudes, finalmente en 1211 Alfonso IX deja atrás sus enemistades con la Orden del Temple y les dona la villa de Ponferrada para ayudar y proteger a los peregrinos en el Camino de Santiago.
Años más tarde, durante el reinado de Fernando IV, se produjo en Francia la disolución de la Orden y la confiscación de sus bienes. Para evitar la confiscación de Ponferrada, el maestre del
Temple, Rodrigo Yáñez, entregó la villa al infante Don Felipe, hermano del rey.
Los templarios permanecieron en Ponferrada hasta 1312.
La actual fortaleza es fruto de numerosas remodelaciones y ampliaciones. En su gran recinto poligonal con más de 8.000 metros cuadrados, se distinguen dos partes diferenciadas, la parte norte del siglo XII y el resto de zonas construidas en el siglo XV, más los añadidos de los siglos XIX y XX.
Del siglo XII existen restos de edificaciones templarías, los restos de una barbacana en el acceso a un patio, parte del paseo de ronda, una torre que tuvo tres pisos, la torre del Malvecino y otra torre en la que destaca una puerta de arco apuntado.
Para acceder al interior del castillo hay que atravesar un puente fijo de piedra, que sustituye al antiguo levadizo, y pasar por la puerta de ingreso de medio punto, custodiada en sus laterales por dos torreones cilíndricos con almenas rematadas en albardilla.
El gran recinto dispone de dobles y triples defensas formando barbacanas, torres, estancias y un gran patio. Alrededor de este se encuentra el Palacio o Casa Grande en el que se alzaban las dependencias, bodega, sala de armas, patios, salones, caballerizas y cenadores.
Hasta que fue catalogado como Bien de Interés Cultural (BIC) en 1924, la fortaleza sufre graves deterioros y parte de las piedras de los muros fueron utilizadas para otras construcciones.
El castillo alberga exposiciones permanentes como la Templum Libri en la que se muestran facsímiles del Medievo y Renacimiento y la Biblioteca Templaría, que cuenta con más de 1300 volúmenes dedicados a los templarios, convirtiéndose así en una de las más importantes del mundo sobre esta temática.