Fue la casa de los Señores de Tovar y mantuvo una estructura lujosa, donde destacaba su torre y las ventanas de diversas formas y tamaños, de las que se conserva una geminada en arquillos y columnillas.
Los muros son de mampostería y mortero, presentando refuerzo de sillares en las esquinas a soga y tizón.
Se desconoce el año de construcción, pero por sus características similares, coincide con otras torres de Asturias y norte de León, edificadas a finales del siglo XIV.
En esta época comienzan a constituirse pequeños señoríos, sobre todo durante el reinado de Enrique II de Castilla “El de las Donaciones”, quien donó a su sobrino, Alonso Enríquez, estas tierras. Precisamente, entre los posibles constructores de la torre, Alonso, es el más probable, aunque diversos autores consideran a Sancho de Tovar, consejero de Pedro I, la construcción del edificio.
El apelativo Tovar, con el que se conoce la torre, se concretaría a finales del siglo XV, a raíz del matrimonio de Juan Tovar, Merino Mayor de Castilla con Doña Constanza Enríquez de Sarmiento, cuarta Señora de Tierra de la Reina.
Los franceses quemaron este castillo, el 4 de abril de 1809, al mismo tiempo que los pueblos de Burón y Pedrosa, aunque para esas fechas ya estaba posiblemente abandonado.
El señorío de Tierra de la Reina se mantuvo hasta los decretos de desamortización de principios del siglo XIX.