El director ejecutivo de Microsoft, Satya Nadella, planteó la necesidad de incorporar mecanismos de seguridad que permitan detener sistemas avanzados de inteligencia artificial (IA) mientras realizan tareas, ante los riesgos asociados a su creciente autonomía.
La propuesta fue presentada este sábado 10 de octubre a través de una publicación en X, donde el ejecutivo advirtió que las empresas deben reconsiderar la forma en que supervisan y controlan los modelos de IA.
“Debemos asumir que un modelo está comprometido y contenerlo desde el principio”, sostuvo Nadella, según recogió TechCrunch.
El CEO de Microsoft comparó esta medida con un “freno de emergencia”, que permitiría a una persona autorizada pausar o apagar un sistema de inteligencia artificial incluso cuando se encuentre ejecutando una tarea.
¿Por qué Microsoft quiere un freno de emergencia para la IA?
La preocupación apunta especialmente a los llamados agentes de inteligencia artificial, sistemas capaces de realizar acciones de manera autónoma, como consultar información, utilizar herramientas digitales o ejecutar procesos sin necesitar instrucciones humanas en cada paso.
A medida que estas tecnologías adquieren mayores capacidades, también aumenta la importancia de establecer límites sobre las acciones que pueden realizar.
Nadella sostuvo que no basta con confiar en las garantías de seguridad entregadas por las empresas desarrolladoras de modelos.
En cambio, propuso que los mecanismos de protección funcionen de manera independiente de la propia inteligencia artificial, para que puedan intervenir incluso cuando el sistema presente comportamientos inesperados.
Entre las medidas planteadas se encuentran separar los modelos de IA de los sistemas que coordinan sus tareas, establecer controles externos y mantener registros verificables de sus acciones.
Estos registros, además, deberían ser comprensibles para las personas y contar con mecanismos que impidan su manipulación.
El desafío de mantener el control humano
Las declaraciones del ejecutivo se producen en medio de un debate creciente sobre la seguridad de los sistemas de inteligencia artificial más avanzados.
Según Bloomberg, Nadella considera que las organizaciones deben tratar estos modelos como componentes potencialmente comprometidos, incluso cuando no existan indicios de que hayan sido manipulados.
Este enfoque se relaciona con el principio de seguridad conocido como confianza cero, que busca limitar los riesgos mediante verificaciones y controles permanentes, en lugar de asumir que un sistema es seguro por defecto.
En la práctica, un mecanismo como el propuesto permitiría interrumpir la actividad de un agente de IA antes de que continúe ejecutando acciones potencialmente perjudiciales.
La discusión adquiere especial relevancia a medida que estas herramientas comienzan a integrarse en entornos empresariales y sistemas que manejan información sensible.
Por ahora, las declaraciones de Nadella representan una propuesta sobre cómo deberían diseñarse y supervisarse los sistemas avanzados de IA, no el anuncio de una nueva función de Microsoft ni de un botón de emergencia disponible para los usuarios.
El planteamiento deja una pregunta central para el futuro de esta tecnología: cómo aprovechar las capacidades de la inteligencia artificial sin perder la posibilidad de intervenir cuando algo sale mal.
