El cambio de plan en el trazado de la carretera de Madrid a Andalucía, que se tenía decidido pasase por Toledo, echaría por tierra los proyectos del Cardenal, que dedicaría parte del improductivo edificio a almacén de materias primas.
Problemas de tipo económico irían poco a poco arruinando la obra del gran Cardenal, proporcionando el mayor revés a la misma el incendio del Alcázar por los franceses en 1810.
Delante del Alcázar destaca el gran edificio de la Casa de la Caridad
Tuvieron que trasladarse los telares al edificio que se había construido para Fonda, alojándose en un rincón de la misma, ya que la mayor parte de ella había sido arrendada por una ridícula cantidad; allí continuaría la Casa de Caridad durante cerca de medio siglo, arrastrando una lánguida vida. El amplio y sólido edificio, sin valor arquitectónico alguno, constaba de tres pisos, con el mismo número de patios.
1940. En la parte inferior, a la derecha, ruinas de la Casa de la Caridad
Fachada Norte de la Casa de la Caridad, tras el asedio del alcázar; a la derecha, Hospital de Santa Cruz
Fuente: http://perso.wanadoo.es/mearce/Edificios%20y%20Lugares.htm