OpenAI comenzará a incorporar una marca de agua invisible en los textos generados por ChatGPT y Codex en la Unión Europea, una medida que permitirá detectar mediante sistemas especializados si un contenido fue producido utilizando sus modelos de inteligencia artificial.
La compañía anunció este lunes la implementación de textGrain, una tecnología diseñada para dejar una señal estadística prácticamente imperceptible para las personas, pero que puede ser reconocida posteriormente mediante un detector.
La medida comenzará a desplegarse durante las próximas semanas entre usuarios elegibles de ChatGPT y Codex de todos los planes en la Unión Europea y responde a las exigencias de transparencia establecidas por la Ley de Inteligencia Artificial (AI Act) del bloque.
La marca está en las palabras
A diferencia de lo que podría sugerir el concepto de “marca invisible”, OpenAI no añadirá caracteres ocultos, espacios especiales ni símbolos dentro de las respuestas.
En cambio, textGrain modifica sutilmente la forma en que el modelo selecciona las palabras mientras genera una respuesta.
Estas pequeñas decisiones van formando un patrón estadístico a lo largo del texto que posteriormente puede ser identificado mediante una herramienta de detección.
Esto también significa que simplemente copiar y pegar una respuesta de ChatGPT no debería eliminar automáticamente la señal, ya que esta forma parte de la propia construcción del texto.
¿Se puede borrar la marca de ChatGPT?
Sí, y esta es precisamente una de las principales limitaciones reconocidas por OpenAI.
Las pruebas realizadas por la compañía muestran que modificar suficientemente un texto puede debilitar considerablemente la capacidad de detectar la marca.
En uno de sus experimentos con textos de 400 tokens, sustituir un 10% de las palabras por sinónimos redujo la tasa de detección desde cerca de un 92% hasta un 66%.
Al reemplazar el 25% de las palabras, la detección cayó hasta aproximadamente un 17%.
Los textos muy cortos, las respuestas matemáticas y los contenidos traducidos también pueden resultar más difíciles de identificar.
Por eso, que un detector no encuentre la marca no significa necesariamente que el contenido haya sido escrito por una persona.
No permitirá saber quién usó ChatGPT
La marca tampoco funciona como una especie de huella digital del usuario.
OpenAI asegura que textGrain no permite determinar quién generó una respuesta, qué cuenta utilizó, cuáles fueron sus instrucciones ni acceder a la conversación original.
Tampoco puede determinar cuánto de un documento fue escrito o posteriormente editado por una persona.
Su función es mucho más limitada: entregar una señal de que un sistema de OpenAI pudo haber participado en la generación o procesamiento de determinado contenido.
El detector no estará disponible para todo el mundo
Por ahora tampoco será posible pegar cualquier texto en una página pública para comprobar si salió de ChatGPT.
OpenAI abrirá inicialmente el acceso a su detector solo a investigadores y organizaciones especializadas previamente aprobadas, argumentando que la tecnología todavía puede producir falsos positivos y falsos negativos.
La compañía utilizará esta primera etapa para evaluar su funcionamiento en situaciones reales y mejorar el sistema.
Por ahora, solo en Europa
La marca invisible llegará durante las próximas semanas a los textos elegibles generados mediante ChatGPT y Codex en la Unión Europea.
OpenAI aclaró que no convertirá el sistema en una función global por defecto durante esta primera etapa.
Hay, sin embargo, una excepción: desde este 5 de octubre, los clientes de la API de OpenAI en cualquier parte del mundo pueden activar voluntariamente textGrain en determinados modelos. En ese caso, la función permanece desactivada por defecto.
El cambio forma parte de una estrategia más amplia de la compañía para identificar contenidos creados mediante inteligencia artificial, que ya contempla sistemas de procedencia y marcas invisibles para imágenes y audio.
La llegada de textGrain al texto abre ahora un nuevo escenario: detectar contenido generado por IA será posible incluso después de copiarlo y pegarlo, aunque modificarlo suficientemente todavía puede hacer que esa señal termine desapareciendo.
