Dominando imponente la vega de Grajal, surge esta construcción de planta cuadrada con robustos cubos circulares en sus esquinas, y poca elevación para que su diseño permitiera el uso de la artillería.
Posiblemente sea uno de los castillos más avanzados para su época, ya que fue encargado al arquitecto italiano Lorenzo de Adonza quién utilizó las nuevas técnicas renacentistas de fortificación. Esto lo convirtió en el primer castillo artillero de España y en una clara influencia para toda la arquitectura fortificada posterior.
Ya existió como fortaleza romana y en el año 967 ya existen testimonios de la existencia de un Castillo en Graja.
La actual construcción es una obra militar gótica, fortaleza artillera del siglo XVI, mandada edificar con Hernando de Vega, Comendador Mayor de Castilla. Su hijo, Juan de Vega, será el primer Conde de Grajal.
La altura es de tres plantas, estaba aislado con foso, puente levadizo y puerta de entrada. También tuvo prisión, destruida en 1836. Cuenta con troneras, almenas y un cañón de la época.
El acceso al mismo se hace desde el torreón Noroeste, sede del cuerpo de guardia.
Al otro extremo, en el torreón Sureste estaba la sala donde se molía la pólvora.
