El Castillo de San Sebastián está situado en uno de los extremos de la playa de la Caleta, frente a castillo de Santa Catalina, sobre una pequeña isla desde la que protegía el frente norte de la ciudad de Cádiz. Se encuentra unido a tierra con un malecón, lo que permite que no se encuentre aislado en la pleamar.La isla donde se encuentra el castillo de San Sebastián ha sido objeto de continuos asentamientos desde la antigüedad. Según la tradición aquí estuvo el templo de Kronos, después una torre-atalaya musulmana, y ya en el siglo XV lugar de una ermita advocada a San Sebastián. En el año 1457 una nave veneciana se refugió en la isla a causa de una epidemia de peste, reconstruyeron la torre y levantaron una ermita a la advocación de San Sebastián. En este lugar se labraron incluso las armas de la ciudad de Venecia en reconocimiento a la hospitalidad gaditana. Tras el saqueo inglés de finales del siglo XVI, el lugar se destinó al castillo, reconstruyéndose la torre en 1613 bajo la dirección de Juan de la Fuente Hurtado, dotándola de artillería y haciendo a su vez los servicios de faro para los navegantes. En el año 1706 se inician las obras del castillo en la parte de la isla que miraba hacia la ciudad. En el año 1739 el castillo con 17 cañones que controlaban la entrada a la Caleta y el canalizo sur hacia la bahía. En el año 1860 el castillo fue reforzado con baterías acasamatadas. A finales del siglo XVIII se construyó un largo malecón por el que el castillo quedaba unido a tierra, a la puerta de La Caleta, pero en un principio tenía que esperarse la bajamar para acceder al castillo.Consta de dos espacios abaluartados asentados en cada una de las isletas. El primero, el verdadero castillo, es de planta irregular, algo alargado, y con nueve lados. Posee parapetos, cañoneras, dos fosos de agua y puentes levadizos, uno que daba a la plaza de armas, en dirección a la ciudad, y otro, en el frente noroeste, que unía con el resto de la isla donde se encontraba la ermita y la torre-faro. En la segunda isla, igualmente amurada, se yergue el actual faro, construido en el año 1908.En 2011 se inició un proceso de restauración del conjunto que perdura a lo largo del año 2012. En concreto, en septiembre de 2012 la restauración de la Avanzada de Isabel II o de Santa Isabel (la ampliación del castillo más adentrada en el mar, construida en el siglo XIX) estaba casi concluida, mientras que del núcleo original del castillo (la fortificación más cercana a la ciudad, construida a lo largo del siglo XVIII) apenas se habían realizado una pequeña parte de las tareas previas de eliminación de estructuras superpuestas durante su uso militar a lo largo del siglo XX y algunas catas para determinar En su interior se encuentra un Laboratorio de Investigación Marina de la Universidad de Cádiz