A pocos metros del puerto, frente a la Isla de las Palomas, se alza a 24 metros sobre el nivel del mar el Castillo de Santa Catalina, una construcción copia de un castillo italiano que es una de las más bellas que ver en Tarifa.

Este estratégico enclave albergó construcciones defensivas en diferentes épocas. En 1972 el edificio fue rehabilitado por la Marina, instalándose en él el Centro de control de paso de buques del Estrecho de Gibraltar y un centro de observación meteorológica.

En el año 2000 el Centro de control del Estrecho se traslada a otras instalaciones y el castillo pasó a ser un punto de vigilancia nocturna para la Guardia Civil hasta que 2001 volvió a ser de titularidad municipal.