En 1555 Besançon pasó a la corona de los Habsburgo junto con el resto del Franco-Condado. Carlos V respetó sus derechos adquiridos conservando ésta los derivados de ser Ciudad Imperial Libre.
La ciudad se gobernaba entonces a sí misma, aunque bajo tutela del Emperador, gracias a un consejo de 28 personalidades elegidas por sufragio universal y un consejo de 14 gobernadores designados por las personalidades. La independencia en las decisiones fue la razón para que el primer Camino Español (ruta del Duque de Alba en 1567) bordeara la ciudad sin detenerse en ella.
Derivada de su impotancia estratégica, Carlos V no tarda en ordenar que se reforzaran las defensas de la ciudad. Diversas torres fueron adaptadas para albergar cañones y tres bastiones fueron añadidos a lo largo de los muros del barrio de Battant. Un cuarto bastión (el Bastión de Griffon) fue añadido en 1595 en los muros de Battant.
En 1668 Francia invade el Franco-Condado con el que tenia una tratado bilateral de neutralidad. Aunque la rápida respuesta de España y la Triple Alianza (Inglaterra, Provincias Unidas y Suecia) hace que Luis XIV retire sus tropas (Tratado de Aix-La-Chapelle) no sin antes destruir buena parte de la fortificaciones de las poblaciones invadidas. El Franco-Condado, que los Austrias españoles habían mantenido neutral durante un siglo, ven en la política expansionista de la Francia del Rey Sol un peligro inminente.
Besançon, que también fue atacada, tomada y posteriormente devuelta, retoma con ahínco la mejora de las defensas. Con tantos años de neutralidad y paz estaban un tanto obsoletas. Es entonces cuando se comienza la construcción de la Ciudadela.
La primera piedra de la Ciudadela se colocó en el Mont Saint-Étienne el 29 de septiembre de 1668. Al otro lado de la ciudad se emprendieron obras de importancia alrededor de Charmont (encima del barrio Battant).
Pero la arquitectura militar no es la única huella española en Besançon:
Un espléndido edificio renacentista en la calle principal de Besançon. Fue la herencia de Nicolas Perrenot de Granvelle, secretario y asesor en politica exterior de Carlos V. Su construcción ilustra la apertura de la arquitectura local a la influencia italiana y el periodo de prosperidad que vivió la ciudad en el s. XVI. Destaca en particular el bonito patio interior porticado de arcos carpaneles rebajados. Desde 2002 este Palacio alberga el Museo del Tiempo.
El Hôtel de Montmartin, que estuvo destinado a acoger la biblioteca, la gabinete de medallas y la excelente colección de pinturas de Antonio Perrenot de Granvelle, hijo de Nicolas Perrenot de Granvelle, de la total confianza de Felipe II y del que obtuvo altísimas responsabilidades dentro de la organización y administración del Imperio Español. Él también quiso dejar en su Besançon natal su impronta.
También llevó a cabo la construcción de una residencia de campo en Ornans y esta casa en el centro de la Villa, que no pudo disfrutar pues le sobrevino la muerte en Madrid sin verla acabada.
En 1566 la municipalidad de Besançon decide la ampliación del Ayuntamiento. Richard Marie es el encargado de ejecutar la obra dotando el edificio del espíritu de los palacios del renacimiento italiano. Presenta en la fachada un gran nicho que albergó una estatua de bronce de Carlos V cabalgando un águila de dos cabezas obra de Claude Lulier.
Besançon es etapa obligada y un paseo por la señorial Grand Rue también. Si los pies os llevan hasta su nº 88 vereis una fuente que representa a Neptuno sin apenas adornos y sentado sobre un delfín. Fijaos bien en el rostro porque es el de Fernando Álvarez de Toledo, el temido Duque de Alba, que desde 1564 vigila con celo la entrada del convento de las Carmelitas.
"Besançon, vieille ville espagnole" de Victor Hugo, nacido en 1802 en Besançon.