La empresa viene debatiendo en lo interno cuándo va a lanzar una herramienta que pueda determinar si una imagen fue creada con DALL-E 3, su modelo de arte de inteligencia artificial generativa.
OpenAI ha "discutido y debatido de manera bastante extensa" cuándo lanzar una herramienta que pueda determinar si una imagen fue creada con DALL-E 3, el modelo de arte de inteligencia artificial generativa de OpenAI, o no. Pero la startup no está cerca de tomar una decisión en el corto plazo.
Así lo ha expresado Sandhini Agarwal, investigadora de OpenAI especializada en seguridad y política, quien habló con TechCrunch. Afirmó que, si bien la precisión de la herramienta clasificadora es "realmente buena", al menos en su opinión, no ha alcanzado el umbral de calidad establecido por OpenAI.
"Existe la cuestión de lanzar una herramienta que es en cierta medida poco fiable, dado que las decisiones que podría tomar podrían afectar significativamente a las fotos, como determinar si una obra fue pintada por un artista o si es inauténtica y engañosa", comentó Agarwal.
La precisión objetivo de OpenAI para la herramienta parece ser extraordinariamente alta. Mira Murati, directora de tecnología de OpenAI, afirmó esta semana en la conferencia Tech Live del Wall Street Journal que el clasificador es "99%" confiable para determinar si una foto no modificada fue generada utilizando DALL-E 3. Tal vez el objetivo sea el 100%, pero Agarwal no quiso confirmarlo.
Una entrada de blog de OpenAI en borrador compartida con TechCrunch reveló este dato interesante:
"[El clasificador] sigue siendo preciso en más del 95% cuando una imagen ha sido sometida a tipos comunes de modificaciones, como recortes, redimensionamiento, compresión JPEG o cuando se superponen texto o recortes de imágenes reales en pequeñas partes de la imagen generada".
La reticencia de OpenAI podría estar relacionada con la controversia en torno a su herramienta clasificadora pública anterior, que estaba diseñada para detectar texto generado por IA no solo de los modelos de OpenAI, sino también de modelos generadores de texto lanzados por proveedores de terceros. OpenAI retiró el detector de texto escrito por IA debido a su "baja tasa de precisión", que había sido ampliamente criticada.
Agarwal insinúa que OpenAI también se encuentra atrapada en la pregunta filosófica de qué, exactamente, constituye una imagen generada por IA. Obviamente, las obras de arte generadas desde cero por DALL-E 3 califican. Pero, ¿qué sucede con una imagen de DALL-E 3 que ha pasado por varias rondas de ediciones, se ha combinado con otras imágenes y luego ha sido sometida a varios filtros de posprocesamiento? La respuesta no es tan clara.
"En ese punto, ¿debería considerarse que esa imagen es generada por IA o no?", preguntó Agarwal. "En este momento, estamos tratando de abordar esta pregunta y realmente queremos escuchar a artistas y personas que podrían verse significativamente afectadas por estas herramientas de clasificación".
Varias organizaciones, no solo OpenAI, están explorando técnicas de marca de agua y detección para medios generativos, ya que las deepfakes de IA proliferan.
Recientemente, DeepMind propuso una especificación, SynthID, para marcar imágenes generadas por IA de una manera imperceptible para el ojo humano pero detectable por un detector especializado. La startup francesa Imatag, lanzada en 2020, ofrece una herramienta de marca de agua que afirma no se ve afectada por cambios de tamaño, recortes, ediciones o compresión de imágenes, al igual que SynthID. Otra empresa, Steg.AI, emplea un modelo de IA para aplicar marcas de agua que sobreviven a los cambios de tamaño y otras ediciones.
El problema es que la industria aún no ha logrado consensuar un único estándar de marca de agua o detección. Incluso si lo logra, no hay garantía de que las marcas de agua, y los detectores, por cierto, no sean vulnerables.
"Una de las razones por las que en este momento el clasificador es específico de DALL-E 3 es porque, técnicamente, es un problema mucho más manejable", dijo Agarwal. "Un detector general no es algo que estemos haciendo en este momento... Pero dependiendo de hacia dónde vaya la herramienta clasificadora, no digo que nunca lo haremos".
Comments