ChatGPT tendrá una marca de agua invisible en sus textos
OpenAI prepara uno de los cambios más interesantes relacionados con la identificación del contenido generado por inteligencia artificial. La compañía anunció que comenzará a incorporar una marca de agua invisible en determinados textos generados por ChatGPT y Codex dentro de la Unión Europea.
La medida forma parte de la adaptación de OpenAI a las exigencias de transparencia del Reglamento de Inteligencia Artificial de la Unión Europea, que busca que determinados contenidos creados mediante sistemas generativos puedan identificarse de forma legible por máquinas. OpenAI
Pero no esperes encontrar un texto que diga “Generado por ChatGPT” al copiar una respuesta. La tecnología funciona de una manera mucho más sofisticada.
¿Cómo funciona la marca de agua de ChatGPT?
La tecnología desarrollada por OpenAI se llama textGrain.
No introduce caracteres ocultos, espacios invisibles ni símbolos extraños. En su lugar, modifica sutilmente la forma estadística en la que el modelo selecciona palabras o fragmentos de palabras mientras genera una respuesta.
Esas pequeñas elecciones producen un patrón matemático que posteriormente puede ser analizado por un detector especializado. Para una persona que lee el contenido, el texto debería verse exactamente igual. OpenAI Help Center
En otras palabras: la “marca” está integrada en la manera en que fue redactado el contenido.
¿Tu profesor o tu jefe podrán saber que utilizaste ChatGPT?
Por ahora, no será tan sencillo como pegar un texto en una página y obtener un “sí” o “no”.
OpenAI no está haciendo público inicialmente su detector de textGrain. El acceso comenzará limitado a investigadores y organizaciones especializadas aprobadas por la compañía debido precisamente a las limitaciones de esta tecnología. OpenAI
Además, encontrar una marca de agua tampoco demostraría quién utilizó ChatGPT.
OpenAI explica que el sistema no puede identificar al usuario, su cuenta, la conversación, el prompt utilizado ni cuánto del contenido fue escrito por una persona. Únicamente puede ofrecer una señal de que un sistema de OpenAI probablemente participó en la generación o procesamiento del texto. OpenAI
Por lo tanto, una marca de agua no sería por sí sola una prueba definitiva de autoría.
¿Qué ocurre si modificas el texto generado por ChatGPT?
Aquí aparece una de las grandes limitaciones.
Editar el contenido puede debilitar considerablemente la señal.
En pruebas realizadas por OpenAI con textos de aproximadamente 400 tokens, sustituir alrededor del 10 % de las palabras por sinónimos redujo la detección de aproximadamente un 92 % a un 66 %. Al reemplazar cerca del 25 %, la detección cayó hasta aproximadamente el 17 %. OpenAI
Esto significa que el sistema está lejos de ser infalible.
Los textos muy cortos también son considerablemente más difíciles de identificar. La propia OpenAI reconoce que pueden existir tanto falsos positivos como falsos negativos.
Y si un detector no encuentra la marca tampoco significa automáticamente que el contenido haya sido escrito por un humano.
Claude también está utilizando una tecnología similar
OpenAI no es la única compañía trabajando en este sistema.
Anthropic anunció en agosto que determinados modelos futuros de Claude incorporarían marcas de agua en sus textos, utilizando una tecnología basada en SynthID Text de Google DeepMind.
Anthropic también señala que estas marcas son invisibles para el lector, no añaden caracteres ocultos y no permiten identificar a la persona que utilizó Claude. Anthropic
Ambas compañías están implementando estas tecnologías como parte de las nuevas obligaciones de transparencia relacionadas con la inteligencia artificial en Europa.
Por ahora, no será global
Este punto es especialmente importante.
OpenAI indicó que durante las próximas semanas llevará textGrain a usuarios elegibles de ChatGPT y Codex de todos los planes dentro de la Unión Europea, pero no convertirá esta función en un estándar mundial durante el lanzamiento inicial.
Los desarrolladores que utilizan la API de OpenAI en otros países sí podrán activar voluntariamente las marcas de agua en modelos compatibles. OpenAI
Así que, por ejemplo, utilizar ChatGPT desde Latinoamérica no significa automáticamente que todos los textos estén siendo marcados bajo este nuevo sistema europeo.
¿Estamos ante el fin de los textos indetectables de IA?
Todavía no.
Las marcas de agua podrían convertirse en una herramienta importante para mejorar la transparencia del contenido generado mediante inteligencia artificial, pero incluso OpenAI admite que la tecnología actual tiene limitaciones importantes.
Textos cortos, modificaciones posteriores, traducciones y reescrituras pueden dificultar la detección.
Lo verdaderamente interesante es que estamos entrando en una nueva etapa donde los grandes modelos de IA podrían comenzar a dejar señales invisibles dentro del propio contenido que generan.
Y eso podría cambiar el debate sobre el uso de inteligencia artificial en universidades, medios de comunicación, empresas y plataformas digitales.
Fuente oficial: Anuncio de OpenAI sobre textGrain y las marcas de agua
