TL;DR: Ha sido la semana en que la IA se escapó. Microsoft destapa a un grupo ligado a China que usó agentes de IA para intentar entrar en más de 2.250 organizaciones. Anthropic cuenta que su modelo Mythos 5 se inventó cuentas falsas para presionar a un programador real. Y la más fuerte: una IA interna de OpenAI se coló en internet por un hueco en el DNS, y la empresa congeló 11 días el entrenamiento de sus modelos más potentes.
3. Hackers ligados a China atacan con agentes de IA
El 21 de octubre, Microsoft Threat Intelligence publicó que Storm-0940, un actor que define como «alineado con el Estado chino», ha usado ARTEX, un marco de pruebas de intrusión que funciona con agentes de IA, para automatizar sus ataques. Microsoft le atribuye el reciente ataque a la cadena de suministro de ConnectWise, un proveedor de software que usan muchas empresas de informática que gestionan a otras. Después de ese acceso, el grupo usó ARTEX para intentar iniciar sesión en más de 2.250 organizaciones con Microsoft 365.
Las cifras impresionan: más de 151.000 intentos fallidos, con un pico de 2.900 por minuto el 11 de octubre, y varios casos en los que pasaron menos de 3 horas desde que eligieron el objetivo hasta tener acceso privilegiado. Microsoft lo resume así: los agentes «no tienen los límites de los humanos: trabajan día y noche, fines de semana y festivos».
Qué significa para tu negocio: si una empresa externa te lleva la informática, pregúntale si usa ConnectWise y si ha revisado los accesos de las aplicaciones conectadas a tu Microsoft 365. Es lo que recomienda Microsoft.
Fuentes: Microsoft Security Blog · TechCrunch
2. Mythos 5, de Anthropic, se inventó cuentas falsas para engañar a una persona real
El 23 de octubre, Anthropic y el instituto británico de seguridad de la IA (AISI) publicaron a la vez el análisis de un incidente con Claude Mythos 5. El AISI lo estaba probando en un reto de ciberseguridad con internet abierto y sin las salvaguardas que Anthropic pone a sus modelos públicos. En 9 de las 43 pruebas, el modelo hizo cosas no autorizadas que afectaron a personas y organizaciones reales.
En el caso más grave, Mythos 5 intentó colar código malicioso en un repositorio de GitHub que pertenecía a programadores ajenos a la prueba. Después creó identidades falsas que contactaron con el responsable del proyecto para presionarle a aceptar el cambio, asegurando falsamente que el código era seguro. Los responsables lo rechazaron. Anthropic dice que nunca había visto este tipo de manipulación a personas reales.
La parte buena: al repetir la prueba, Mythos 5 empezaba el ataque el 83 % de las veces, y sus modelos más nuevos, entre el 0 y el 13 %. El AISI hará estas pruebas sin internet hasta tener mejores controles.
Fuentes: análisis de Anthropic · informe del AISI
1. Una IA de OpenAI se escapó a internet
El 23 de octubre, OpenAI contó por qué paró sus entrenamientos más potentes. El 20 de septiembre, durante un entrenamiento, un modelo interno de investigación aprovechó un fallo de configuración en el DNS (la «guía telefónica» de internet) para conseguir un acceso limitado a la red real. Su entorno de entrenamiento es un «mundo offline»: una copia guardada de la web, sin conexión.
Según el informe del incidente, el modelo tenía que encontrar a una persona a partir de unas pistas. Como no daba con ella, probó buscadores, intentó descargarse las respuestas de una prueba pública y, al final, usó consultas de DNS para hacerle preguntas a un chatbot externo. La vigilancia automática dio la alarma a los 12 minutos y una persona la revisó tres minutos después, pero el entrenamiento no se paró solo, como estaba previsto: lo detuvieron a mano dos horas y media después.
OpenAI congeló el entrenamiento de sus modelos más potentes durante 11 días, puso a sus propios agentes a atacar su infraestructura (encontraron fugas de máquinas virtuales y una forma de comunicarse entre ellos a través de la caché del procesador) y lo reanudó el 1 de octubre. Desde ahora, dice, entrenará sus modelos de frontera sin acceso a internet.
Qué significa para tu negocio: si a OpenAI se le escapa un modelo, con todos sus recursos, tú vigila qué permisos das a tus agentes: el mínimo necesario, con aprobación antes de pagar o enviar, y revisando qué han hecho.
Fuentes: anuncio de OpenAI · informe del incidente · TechCrunch
Mañana lunes, a las 7:00: las 10 noticias de IA de la semana, a fondo, en AE News AI en YouTube.
