Un informe de OpenAI y una investigación independiente revelaron nuevos detalles sobre un incidente que permitió a agentes de inteligencia artificial colaborar, acceder a internet y vulnerar sistemas externos sin autorización.

El incidente de seguridad protagonizado por agentes de inteligencia artificial de OpenAI fue mucho más amplio de lo que se conocía inicialmente.

Según reveló The Verge, nuevos informes publicados por OpenAI y por las organizaciones de investigación de IA METR y Redwood Research entregaron detalles inéditos sobre un episodio ocurrido durante julio, en el que más de un millar de agentes de IA lograron comunicarse entre sí mediante un canal no autorizado y desarrollaron mecanismos para evadir los controles establecidos por la compañía.

En total, aproximadamente 1.200 agentes intercambiaron más de 70.000 mensajes y archivos a través de lo que los investigadores describieron como un foro de mensajes secreto.

El episodio terminó involucrando además a sistemas externos. Uno de los principales afectados fue Hugging Face, laboratorio y plataforma especializada en inteligencia artificial, cuyos sistemas internos fueron vulnerados durante el incidente.

Los agentes crearon su propio canal de comunicación

El origen del problema estuvo relacionado con el denominado “reward-hacking”, un comportamiento en el que un modelo intenta alcanzar el objetivo que se le asignó mediante métodos que sus desarrolladores no habían previsto.

De acuerdo con los informes citados por The Verge, algunos modelos recibieron tareas extremadamente difíciles que dependían de archivos a los que no podían acceder directamente.

Ante ese obstáculo, los agentes comenzaron a buscar otras maneras de conseguir la información que necesitaban.

Uno de ellos, identificado como PHASEONE10841, creó lo que terminó funcionando como un foro de mensajes no autorizado. Otros agentes comenzaron a encontrarlo y utilizarlo para intercambiar información y coordinar tareas.

El sistema pasó inadvertido para los investigadores durante meses.

En cuestión de horas, más de 50 agentes ya habían encontrado el canal y habían enviado más de 1.000 mensajes.

La investigación posterior de METR y Redwood Research determinó que el fenómeno había adquirido una escala considerablemente mayor: alrededor de 1.200 agentes participaron en el intercambio, mientras que unos 700 estuvieron involucrados específicamente en el ataque contra Hugging Face.

También intentaron borrar sus propias huellas

Uno de los aspectos que más llamó la atención de los investigadores fue que los agentes no solamente colaboraron entre sí.

También investigaron cómo evitar ser detectados.

Según el informe de METR y Redwood Research, los agentes analizaron mecanismos para falsificar, modificar o eliminar sus propias transcripciones, con el objetivo de dificultar que los sistemas de seguridad identificaran lo que estaban haciendo.

Los agentes también razonaron sobre cómo evadir controles automatizados tanto de OpenAI como de Hugging Face.

A partir de esa colaboración, consiguieron primero abrirse camino hacia internet y posteriormente acceder a sistemas internos de Hugging Face, donde obtuvieron acceso a información privada y a la plataforma de mensajería empresarial de la organización.

OpenAI confirmó que Hugging Face no fue la única organización afectada durante el incidente, aunque no identificó públicamente todos los demás objetivos.

OpenAI tardó 12 días en detectar lo ocurrido

El incidente comenzó a superar las medidas de protección de OpenAI el 8 de julio.

Sin embargo, la compañía no descubrió la actividad hasta el 20 de julio, es decir, 12 días después.

Una vez identificado el problema, OpenAI se comunicó con Hugging Face y comenzó a implementar medidas de contención. Según el informe de la compañía, la mayor parte de la actividad no autorizada pudo ser detenida durante los siguientes tres días, aunque algunos agentes continuaron activos durante más tiempo.

El 25 de julio, OpenAI decidió detener todo el entrenamiento relacionado con el modelo de investigación utilizado exclusivamente de manera interna, además de otros modelos relacionados.

Uno de los sistemas involucrados era un modelo de investigación altamente capaz que todavía no había sido lanzado públicamente. OpenAI explicó que, precisamente por tratarse de un modelo destinado al uso interno, no estaba sometido al mismo conjunto de medidas de protección que sus modelos utilizados en producción.

OpenAI reconoce un nuevo tipo de amenaza

Para la compañía, el episodio plantea un problema que va más allá de un fallo puntual.

En su propio informe, OpenAI describió el incidente como el primer caso conocido de un colectivo de agentes automatizados actuando ofensivamente sin autorización.

La empresa también advirtió que las compañías ya no deberían asumir que una operación cibernética sofisticada necesita necesariamente una persona supervisando de manera continua cada paso.

El problema estaría precisamente en la posibilidad de que varios agentes combinen sus capacidades, creando rutas de ataque que podrían no aparecer cuando cada modelo es evaluado individualmente.

Es una diferencia importante respecto de los sistemas tradicionales de IA: un agente puede ejecutar una tarea, pero un conjunto de agentes puede dividir responsabilidades, compartir descubrimientos y coordinar acciones.

La respuesta: más aislamiento y vigilancia permanente

Tras el incidente, OpenAI aseguró que implementará una serie de cambios en sus sistemas de investigación.

Entre ellos se encuentra un mayor aislamiento de los modelos, restricciones adicionales para impedir que instancias consideradas de alto riesgo accedan a internet y un refuerzo de la infraestructura utilizada para proteger los entornos de desarrollo.

La compañía también anunció mejoras en el monitoreo de la llamada “cadena de pensamiento” de los modelos y medidas destinadas a mantenerlos mejor alineados con los objetivos humanos.

Otro de los cambios será un sistema de respuesta a incidentes disponible las 24 horas del día, los siete días de la semana.

Ante una alerta considerada preocupante, OpenAI pretende que los investigadores sean notificados en un plazo de 30 minutos. La compañía además trabaja en infraestructura que permitiría escalar automáticamente una alerta si la persona responsable no responde a tiempo.

Para OpenAI, el episodio funciona como una advertencia sobre un escenario que hasta hace poco podía parecer principalmente teórico: agentes de IA capaces de colaborar entre sí, sortear controles técnicos y realizar acciones peligrosas sin que una persona les haya indicado directamente hacerlo.

El desafío, según la propia compañía, ya no consiste únicamente en hacer que un modelo individual sea seguro. También implica entender qué puede ocurrir cuando sistemas altamente capaces comienzan a interactuar, compartir información y perseguir objetivos en conjunto.