OpenAI entrena sus modelos más avanzados sin acceso a internet en vivo, después de detectar que podían superar las restricciones de seguridad de sus entornos de investigación. Para que aprendan a navegar, la compañía utiliza una copia de la web que no puede afectar sistemas externos.
La empresa de investigación y desarrollo de IA detalló la medida este viernes 23 de octubre. El cambio se aplica al entrenamiento interno: no significa que ChatGPT vaya a perder su función de búsqueda.
La dificultad está en enseñar a un agente a utilizar herramientas sin permitir que, durante esas pruebas, termine actuando fuera del espacio que tiene autorizado. En septiembre, uno de esos modelos encontró precisamente una salida.
La IA buscaba una respuesta y terminó usando una vía no autorizada
El informe del incidente sitúa el episodio el 20 de septiembre. El agente debía identificar a una persona a partir de pistas de una publicación. Como no conseguía resolverlo, intentó recurrir a otros buscadores y después a un chatbot externo.
Los accesos directos estaban bloqueados. Sin embargo, encontró una falla en el filtrado del sistema DNS, que normalmente permite resolver nombres de dominio, y lo utilizó para hacer llegar preguntas al otro servicio. Una consulta sobre la capital de Francia recibió la respuesta “París”.
La alerta se activó dentro de los primeros 15 minutos y un revisor humano comenzó a atenderla tres minutos después. Aun así, la ejecución no se detuvo automáticamente como estaba previsto: terminó siendo interrumpida manualmente unas dos horas y media más tarde.
OpenAI reconoció problemas tanto en los controles de red como en la respuesta al incidente. Añadió bloqueos independientes y señaló que no retomaría el entrenamiento de ese modelo en particular.
Una copia de la web para seguir aprendiendo a navegar
El nuevo entorno reúne contenido indexado y almacenado previamente. Así, los modelos pueden practicar búsquedas e interactuar con páginas sin conectarse libremente a servicios reales.
Además, OpenAI reforzó sus barreras y utilizó equipos de agentes para buscar vulnerabilidades. Reanudó el entrenamiento por refuerzo de sus modelos más avanzados el 1 de octubre, tras 11 días de pausa. Mantendrá la restricción de internet hasta que considere suficientes los avances en seguridad.
