La carrera por desarrollar sistemas de inteligencia artificial cada vez más avanzados vuelve a encender las alarmas dentro de la propia industria. Jacob Coxon, investigador que trabajó en Anthropic y anteriormente en OpenAI, renunció a la compañía acusando a ambas empresas de avanzar de manera irresponsable hacia una inteligencia artificial capaz de mejorarse a sí misma.
Coxon anunció su salida a través de una publicación en X, donde aseguró que durante los últimos tres años trabajó en investigación relacionada con el preentrenamiento de modelos tanto en OpenAI como en Anthropic.
“Ninguna de las dos compañías está actuando responsablemente. Están corriendo directamente hacia una superinteligencia capaz de mejorarse a sí misma y están apostando con nuestras vidas”, afirmó.
La advertencia adquirió todavía más relevancia después de que Evan Hubinger, quien lidera uno de los equipos de seguridad de IA de Anthropic, respaldara públicamente parte de sus afirmaciones.
“Creemos sinceramente que la IA podría matar a todos los humanos”
Coxon sostiene que existe una diferencia entre la manera en que algunos responsables de la industria hablan públicamente de los riesgos de la inteligencia artificial y las preocupaciones que mantienen dentro de los laboratorios.
Según el investigador, quienes están construyendo estos sistemas consideran seriamente la posibilidad de que una IA extremadamente avanzada pueda representar una amenaza existencial para la humanidad.
Hubinger respondió directamente a estas declaraciones y fue todavía más específico.
“Realmente creemos sinceramente que la IA podría matar a todos los humanos”, señaló el investigador, quien estimó personalmente que existe una probabilidad superior al 10% de que algo así ocurra durante la próxima década.
La cifra corresponde a una estimación personal de Hubinger y no a una proyección oficial de Anthropic.
El investigador también reconoció que la compañía todavía no cuenta con una solución definitiva para garantizar el alineamiento de una eventual superinteligencia con los intereses humanos.
“Creo que Anthropic está haciendo lo mejor que puede, pero todavía no tenemos un plan para resolver el alineamiento de la superinteligencia y no estamos claramente encaminados a conseguirlo”, afirmó.
El temor a una IA que pueda mejorarse a sí misma
El centro de la preocupación está en lo que se conoce como auto-mejora recursiva: la posibilidad de que un sistema de inteligencia artificial suficientemente avanzado pueda participar directamente en el desarrollo de versiones cada vez más capaces de sí mismo.
El escenario sigue siendo hipotético, pero adquiere relevancia a medida que los modelos de IA son utilizados para programar, investigar y desarrollar nuevas herramientas de inteligencia artificial.
Coxon advierte que los futuros sistemas podrían alcanzar capacidades muy superiores a las actuales, incluyendo habilidades avanzadas de programación, investigación científica y ciberseguridad.
Para el ahora exinvestigador de Anthropic, el problema no está únicamente en las capacidades que podrían alcanzar estos sistemas, sino también en la competencia entre los principales laboratorios por desarrollarlos antes que sus rivales.
Según su versión, Anthropic comprende los riesgos asociados a esta tecnología, pero continúa avanzando porque considera que otras compañías harán lo mismo.
Una carrera que vuelve a poner la seguridad de la IA bajo la lupa
La salida de Coxon resulta especialmente llamativa considerando los orígenes de Anthropic. La compañía fue fundada en 2021 por antiguos integrantes de OpenAI y desde sus inicios ha situado la seguridad y el desarrollo responsable de la inteligencia artificial entre los principales elementos de su estrategia.
Sin embargo, Coxon considera que incluso ese enfoque resulta insuficiente ante la velocidad que está tomando la carrera por construir sistemas más poderosos.
Su renuncia se suma además a una serie de salidas que durante los últimos años han afectado a los principales laboratorios de IA, con investigadores que han manifestado públicamente preocupaciones sobre seguridad, alineamiento y el ritmo de desarrollo de los modelos.
El debate ya comenzó a trascender Silicon Valley. Las advertencias de Coxon y otros investigadores han vuelto a impulsar en Estados Unidos los llamados a establecer reglas más estrictas y evaluaciones independientes para los sistemas de inteligencia artificial más avanzados.
Mientras las compañías aceleran el desarrollo de modelos capaces de realizar tareas cada vez más complejas de manera autónoma, la discusión que plantea Coxon es precisamente la que lleva años dividiendo a la industria: qué tan lejos se puede avanzar antes de contar con mecanismos capaces de garantizar que los sistemas más poderosos permanezcan bajo control humano.
