La herramienta de detección de ChatGPT cree que Macbeth fue generado por la IA

ChatGPT lanzó una nueva herramienta de clasificación para detectar texto generado por IA que, a las pocas horas, demostró ser imperfecta, en el mejor de los casos.

Resulta que cuando se trata de detectar IA generativa -ya sea texto o imágenes- puede que no haya una solución rápida.

Sebastian Raschka, un investigador de inteligencia artificial (IA) y aprendizaje automático (ML) que trabaja como educador principal de IA en Lightning AI, comenzó a probar el clasificador de texto OpenAI en ChatGPT con fragmentos de texto de un libro que publicó en 2015. La herramienta informó de que no estaba «claro» si el prefacio del libro había sido escrito por IA, pero el prólogo era «posiblemente IA» y un párrafo del primer capítulo era «probablemente» IA.

Aún más preocupante fue cómo clasificó la herramienta la primera página de Macbeth, de Shakespeare:

«El clasificador considera que el texto está probablemente generado por IA».

Cuando se le preguntó si estaba sorprendido por los resultados, Raschka dijo: «Sí y no. No han compartido el documento, así que no puedo decir al 100% cómo funciona, pero basándome en la breve descripción que tienen en el sitio web, parece que están entrenando un clasificador para predecir si algo está generado por humanos o por IA». El problema, explica, es que hay falsos negativos y falsos positivos en función del conjunto de datos con el que se haya entrenado la herramienta.

En el caso de Macbeth, por ejemplo, Raschka cree que la herramienta no se entrenó en inglés antiguo. «No es un inglés hablado normal, es casi como una lengua extranjera».

OpenAI afirma que la herramienta puede seguir siendo útil en combinación con otros métodos.

OpenAI admite que el clasificador, que es un modelo GPT ajustado mediante aprendizaje supervisado para realizar una clasificación binaria, con un conjunto de datos de entrenamiento formado por pasajes de texto escritos por humanos y por la IA, sólo tiene una precisión del 26%.

Sin embargo, la herramienta puede ser útil en combinación con otros métodos. En un correo electrónico, la empresa afirma: «El clasificador pretende ayudar a mitigar las falsas afirmaciones de que el texto generado por IA ha sido escrito por un humano. Sin embargo, sigue teniendo una serie de limitaciones, por lo que debe utilizarse como complemento de otros métodos para determinar la fuente del texto en lugar de ser la principal herramienta de toma de decisiones.»

La empresa añade en su página web que pone el clasificador a disposición del público «para obtener comentarios sobre la utilidad de herramientas imperfectas como ésta», y añade que seguirán trabajando en la detección de texto generado por IA y «esperan compartir métodos mejorados en el futuro.»

Otras herramientas de detección de IA generativa se enfrentan a una ardua batalla

OpenAI no es ni mucho menos la única que intenta hacer frente al salvaje oeste de la detección de IA generativa. Hay muchas otras herramientas que intentan superar este reto.

GPTZero, por ejemplo, proporciona una puntuación que el usuario debe interpretar. En una entrada de blog, Raschka explicaba: «GPTZero no recomienda si el texto ha sido generado por IA o no. En su lugar, sólo devuelve la puntuación de perplejidad para una comparación relativa entre textos. Esto es bueno porque obliga a los usuarios a comparar textos similares de forma crítica en lugar de confiar ciegamente en una etiqueta predicha».

Según Raschka, DetectGPT «perturba» el texto: Es decir, explicó, si la probabilidad del nuevo texto es notablemente inferior a la del original, es generado por la IA. En caso contrario, si es aproximadamente la misma, es generado por humanos. El problema, añade, es que el método implica utilizar un LLM (large language model) específico, que «puede no ser representativo del modelo de IA para generar el texto en cuestión».

La marca de agua es otro enfoque, añadió – la idea de reducir las probabilidades de ciertas palabras para que sean menos propensas a ser utilizadas por los LLM, utilizando una «lista de evitar». Sin embargo, explicó Raschka, para ello se necesita un LLM que haya sido modificado con esta lista de evasión. Si se conoce la lista, se puede modificar el texto generado por la IA.

¿Qué significa esto para la detección generativa de IA?

Raschka dice que no está claro cómo se desarrollará todo esto y si las herramientas de detección de IA generativa lograrán algún avance para superar el reto de discernir entre el contenido creado por humanos y el texto generado por IA. ¿Se volverá inutilizable la propia Internet, inundada de contenidos generados en los que es imposible confiar?

«Lo que significa para mí, o cómo pienso en el camino a seguir, es que Internet era el lugar donde buscabas contenidos y te fiabas sobre todo de lo que encontrabas», afirma. En el futuro, se tratará más de ser selectivo y encontrar sitios web creíbles».

Sea lo que sea lo que nos depare el futuro, la caja de Pandora ya está abierta en lo que respecta a la inteligencia artificial generativa, subraya, y añade que ChatGPT le resulta útil como «corrector gramatical de lujo» para facilitar la escritura.

«No creo que podamos retroceder», afirma. «Todo el mundo va a utilizar estos sistemas y creo que está bien si los usamos de forma responsable; no creo que haya forma de evitar el uso de estos modelos».

Por ahora, las herramientas de detección de IA generativa «definitivamente no son lo suficientemente buenas» como para utilizarlas en decisiones importantes, dijo, lo que incluye los esfuerzos por utilizarlas en la calificación de trabajos de los estudiantes – en respuesta a los temores sobre las trampas y el plagio.

«Modelos como este pueden causar daños en el mundo real si los educadores los adoptan para calificar», tuiteó Raschka. «Así que añadamos algo de transparencia sobre los Falsos Positivos y los Falsos Negativos».