Quizás fueran sus excelentes condiciones naturales o su cercanía a la ciudad de Vigo los factores que motivaron que la isla fuera testigo de numerosos acontecimientos violentos provocados por conflictos territoriales e incursiones armadas, que desembocarían finalmente en el éxodo de los monjes, buscando lugares menos agitados en zonas próximas a Redondela.
Uno de los episodios más sangrientos tuvo lugar en 1589, cuando Francis Drake atacó diversos puntos de la costa gallega en unas incursiones de las que no se librarían las islas de San Simón. De hecho, las crónicas de la época apuntan a que los últimos ocupantes del convento fueron pasados a cuchillo por el célebre corsario, nominado caballero por la reina Isabel I de Inglaterra pero considerado un pirata por la Corona española.
Apenas había pasado un año de la derrota de la Armada Invencible cuando Inglaterra aprovechó el destrozo de los barcos españoles para saquear nuestras costas y apoyar la insurrección portuguesa contra Felipe II de España. Tras atacar A Coruña, al norte de Galicia, con resultados infructuosos gracias a la heroica resistencia de la ciudad, el vencido y humillado Sir Francis Drake arrasó sin piedad a villa de Vigo y, por extensión, la isla de San Simón antes de batirse en retirada y embarcarse en una nueva campaña contra la Corona española.
El archipiélago se vio inmerso también, el 23 de octubre del año 1702, en la batalla de Rande, cuando una flota armada anglo-holandesa atacó las naves españolas y francesas en la ensenada de San Simón, en plena Guerra de la Sucesión.
Los galeones españoles cargados con el mayor envío que se conocía de tesoros procedentes de América, entraron en Vigo el día 22 de septiembre de 1702. Se refugiaron en el fondo de la ría, pero los anglo-holandeses descubrieron el escondite del preciado cargamento. Los españoles estaban preparados para la incursión, protegidos por la escudería francesa, con cañones en tierra y cadenas cruzadas en la ensenada para impedir la entrada de los buques enemigos. Finalmente, el 23 de octubre comenzó la batalla.
Los anglo-holandeses consiguieron conquistar las defensas de tierra con un ataque anfibio logrando una victoria que se repetiría en el mar tras menos de diez horas de un combate, que dejó los navíos franceses en llamas y abrió una vía libre para llegar a los codiciados galeones españoles cargados de tesoros.
Los españoles hundieron sus barcos y hay historiadores que afirman que fueron tragados por el mar con parte de su preciada carga a bordo. Los atacantes victoriosos no pudieron evitar, a su partida, que encallara el único galeón agarrado, que finalmente hundiría en la salida de la ría de Vigo, alimentando de ese modo a leyenda. Antes de abandonar la ensenada los ingleses saquearon la isla de San Simón y, segundo relata Frei Jacobo de Castro, acuchillaron las imágenes de los santos y quemaron la iglesia.
Tan célebre fue la batalla de Rande que Vigo ganó una calle en Londres para recordar la victoria británica en su ría. Además, esta contienda es quizás la mayor fuente de leyendas relacionadas con la ensenada y la isla de San Simón. El mito del tesoro sigue vivo y no sólo reparó en él Jules Verne. A lo largo de la historia se sucedieron las expediciones para buscar el oro de los ver galeones que reposan en el fondo de la ría.
Tras tantas escaramuzas, las órdenes religiosas acabaron abandonando la isla, que siguió siendo escenario de nuevas incursiones británicas como la del Almirante Michells en el año 1719. También se apunta a una posible visita de las tropas de Napoleón durante la Guerra de la Independencia, en el transcurso de las contiendas que culminaron el 28 de marzo de 1809 con un alzamiento popular que permitió liberar Vigo de la ocupación francesa. La conocida como Reconquista, que se conmemora todos los años con diversas actividades y recreaciones históricas, es un hito fundamental en el desarrollo de la villa, ya que supuso la concesión del título de ciudad.