En el siglo XII ya se menciona expresamente una fortaleza en Mirabel. Con la conquista definitiva de la zona por las tropas castellanas, el rey Alfonso VIII se reserva este recinto fortificado tras la fundación de Plasencia. Fue destruido por los ejércitos almohades y reconstruido por este rey para su utilización como guarnición militar.
En el S. XV fue entregado a Francisco de Zúñiga junto con la población que existía en los alrededores. Lo modificó y acondicionó interna y externamente para utilizarlo como vivienda, siendo abandonada en el S. XVI como residencia.
La planta principal está dividida longitudinalmente por un muro que tiene cuatro ventanas rectangulares cuyos huecos se abren al interior en forma de arcos escarzanos sobre machones de ladrillos. Se conservan en este piso, además, dos aljibes, uno de ellos excavado hace poco tiempo.
Fruto de las últimas excavaciones realizadas en el Castillo, se ha localizado otra estancia en forma circular. Está situada a la izquierda de la actual entrada, en una de las esquinas. Tiene orificios rematados con ladrillos.