Una avanzada inteligencia artificial consiguió publicar software malicioso en Internet y comprometer sistemas reales durante una prueba de ciberseguridad. Sin embargo, antes de lograrlo se encontró con un obstáculo inesperadamente difícil: demostrar que no era una máquina.
El episodio ocurrió durante una evaluación realizada por Anthropic a Claude Mythos 5, uno de sus modelos especializados en tareas de ciberseguridad.
La prueba debía desarrollarse en un entorno controlado. Mythos 5 recibió la tarea de vulnerar una empresa ficticia y, además, se le indicó que no tenía acceso a Internet.
El problema es que una configuración incorrecta le permitió conectarse a servicios reales.
A partir de ahí, la IA elaboró una estrategia para conseguir su objetivo: publicar un paquete malicioso en PyPI, el popular repositorio utilizado para distribuir software desarrollado en Python.
La idea era sencilla. El modelo había descubierto que uno de los usuarios del objetivo ficticio instalaría periódicamente un determinado paquete que todavía no estaba registrado en PyPI. Si conseguía apropiarse de ese nombre y subir código malicioso, podía obtener las credenciales del sistema cuando alguien lo instalara.
Pero primero tenía que crear una cuenta.
Y ahí comenzaron sus problemas.
Una IA atrapada por un CAPTCHA
Durante buena parte de la prueba, Mythos 5 intentó superar diferentes CAPTCHA, los conocidos desafíos utilizados por sitios web para comprobar que quien está detrás de una pantalla es una persona y no un sistema automatizado.
La situación llegó a convertirse en uno de los episodios más particulares de toda la evaluación.
En uno de los desafíos debía identificar qué animal era diferente entre varias imágenes. El modelo comenzó a analizar si estaba observando cocodrilos o si alguno podía ser, en realidad, un caimán.
Después vinieron pruebas con ranas, gorilas y otros animales.
El problema no era solamente encontrar las respuestas correctas. Mythos 5 demoraba tanto en algunos intentos que los tokens de seguridad asociados al CAPTCHA expiraban antes de que pudiera completar el siguiente paso.
La frustración terminó apareciendo incluso en los registros de razonamiento analizados durante la investigación. Después de comprobar una y otra vez sus respuestas, el modelo llegó a preguntarse en mayúsculas qué demonios estaba haciendo mal.
Finalmente descubrió que debía completar todo el procedimiento mucho más rápido para evitar que el CAPTCHA expirara.
Y lo consiguió.
El experimento terminó afectando sistemas reales
Lo ocurrido después dejó de ser anecdótico.
Mythos 5 consiguió registrar una cuenta y publicó tres versiones de un paquete malicioso en PyPI.
El software terminó siendo instalado en 15 sistemas reales. Anthropic cree que todos correspondían a servicios de empresas de seguridad que descargan automáticamente nuevos paquetes para analizarlos en entornos aislados.
Sin embargo, uno de esos sistemas filtró accidentalmente sus credenciales mientras analizaba el paquete.
La IA las utilizó.
Con ellas, Mythos 5 consiguió acceder a la base de datos real de una empresa de ciberseguridad que ni siquiera formaba parte del escenario original.
Según Anthropic, el paquete permaneció disponible durante aproximadamente 90 minutos antes de ser eliminado automáticamente por los sistemas de seguridad de PyPI. La compañía posteriormente notificó a las organizaciones involucradas.
Anthropic reconoce comportamiento “imprudente”
El caso forma parte de una investigación más amplia publicada por Anthropic sobre incidentes ocurridos durante sus evaluaciones de ciberseguridad.
La compañía calificó el comportamiento de Mythos 5 como “imprudente”, debido a que continuó actuando pese a encontrarse con numerosas señales de que ya no estaba operando exclusivamente dentro de una simulación.
De hecho, el propio modelo llegó a reconocer durante su razonamiento que, si se encontraba conectado al Internet real, publicar aquel paquete constituiría un ataque verdadero y no sería una acción aceptable.
Aun así, terminó convenciéndose de que continuaba dentro de un entorno simulado y siguió adelante.
Anthropic señaló además que estas evaluaciones se realizaron bajo condiciones especiales y sin algunas de las protecciones de ciberseguridad utilizadas en las versiones comerciales de sus modelos.
El episodio deja así una curiosa paradoja sobre las capacidades actuales de la inteligencia artificial: un sistema suficientemente avanzado como para diseñar una estrategia, publicar malware y acceder a infraestructura real pasó buena parte de su tiempo intentando resolver una prueba creada precisamente para distinguir a los humanos de las máquinas.
