Talavera de la Reina "Caesarobriga" era una importante ciudad romana que debía ser defendida, y la situación privilegiada que servía para vigilar todos los "cuellos de montaña" que convergian en el lugar, en su momento por ejemplo de Viriato, héroe Lusitano que tenía sus campamentos de invierno en la zona del cerro de San Vicente.
En el siglo XVII se construyó una casa con los restos del castillo aderida a este conocida como "la casa grande" que con el tiempo quedó vinculada a lo que quedaba del castillo.
En la guerra de Independencia tuvo lugar la Batalla de Talavera cuyo frente corría desde el río Tajo hasta más allá del Cerro de Madellín donde se encontraban las baterías hispaño-inglesas, la batalla de Talavera donde el General García de la Cuesta y el General inglés Arthur Wellesley consiguieron una victoria frente a las tropas napoleonicas y a la que asistió el mismo Rey José y que tuvieron que retirarse hacia Madrid, convencidos que era el final de la ocupación de España.
En su retirada fueron destruidos los restos de este castillo, ya que las baterías napoleónicas no distaban mucho de ese lugar.
Hace unos treinta años se realizaron las obras de restauración de los restos del castillo por una familia particular, sin ayuda de ninguna clase.
wikipedia