Problema 3228

Si introduce el documento legal más importante de Estados Unidos, la Constitución de EE. UU., en una herramienta diseñada para detectar texto escrito por modelos de IA como ChatGPT, le dirá que el documento fue Es casi seguro que fue escrito por IA. Pero a menos que James Madison fuera un viajero en el tiempo, ese no puede ser el caso. ¿Por qué las herramientas de detección de escritura con IA dan falsos positivos? Hablamos con varios expertos (y con el creador del detector de escritura con IA GPTZero) para averiguarlo.

Entre las noticias de profesores demasiado entusiastas reprobaron una clase entera debido a la sospecha del uso de herramientas de escritura de IA y a los niños falsamente acusados de usar ChatGPT, la IA generativa tiene a la educación en un estado de nerviosismo. Algunos piensan que representa una crisis existencial. Los docentes que dependen de métodos educativos desarrollados durante el siglo pasado han estado luchando por encontrar formas de mantener el status quo: la tradición de confiar en El ensayo como herramienta para medir el dominio del estudiante sobre un tema.

Por muy tentador que sea confiar en herramientas de IA para detectar escritura generada por IA, hasta ahora la evidencia ha demostrado que [no son confiables](https://techcrunch.com/2023/02/16/most-sites-claiming- para-captar-ai-texto-escrito-falla-espectacularmente /). Debido a falsos positivos, los detectores de escritura de IA como GPTZero, ZeroGPT y el [Clasificador de texto] de OpenAI(https:/ /platform.openai.com/ai-text-classifier) [no puedo](https://theconversation.com/we-pitted-chatgpt-against-tools-for-detecting-ai-writing-text-and-the-results -are-troubling-199774) se puede confiar para detectar texto compuesto por modelos de lenguaje grandes (LLM) como ChatGPT.

• Una captura de pantalla viral de abril de 2023 que muestra a GPTZero diciendo: "Es probable que su texto esté escrito íntegramente por IA" cuando se le proporciona parte de la Constitución de los EE. UU.

• Cuando se incluye parte de la Constitución de los EE. UU., ZeroGPT dice: "Su texto es generado por AI/GPT".

• Cuando se incluye parte de la Constitución de los EE. UU., el clasificador de texto de OpenAI dice: "El clasificador considera que el texto no está claro si es generado por IA".

Si le da a GPTZero una sección de la Constitución de los EE. UU., dice que es probable que el texto "sea escrito íntegramente por IA". Varias veces durante los últimos seis meses, capturas de pantalla de otros detectores de IA que muestran resultados similares se han vuelto virales (https://twitter.com/0xgaut/status/1648383977139363841?s=20) en las redes sociales, generando confusión y muchos chistes. acerca de que los padres fundadores eran robots. Resulta que sucede lo mismo con selecciones de La Biblia, que también aparecen como generadas por IA.

Para explicar por qué estas herramientas cometen errores tan obvios (y, por lo demás, a menudo arrojan falsos positivos), primero debemos comprender cómo funcionan.

Comprender los conceptos detrás de la detección de IA

Los diferentes detectores de escritura de IA utilizan métodos de detección ligeramente diferentes, pero con una premisa similar: hay un modelo de IA que ha sido entrenado en una gran cantidad de texto (que consta de millones de ejemplos de escritura) y un conjunto de reglas supuestas que determinan si la escritura es correcta. Es más probable que sean generados por humanos o por IA.

Por ejemplo, en el corazón de GPTZero hay una red neuronal entrenada en "un corpus grande y diverso de texto escrito por humanos y generado por IA, con un enfoque en prosa en inglés", según las preguntas frecuentes del servicio (https:// gptzero.me/faq). A continuación, el sistema utiliza propiedades como "perplejidad" y "ráfaga" para evaluar el texto y realizar su clasificación.

En el aprendizaje automático, la perplejidad es una medida de cuánto se desvía un fragmento de texto de lo que un modelo de IA ha aprendido durante su entrenamiento. Como dijo a Ars la Dra. Margaret Mitchell de la empresa de inteligencia artificial Hugging Face: "La perplejidad es una función de '¿qué tan sorprendente es este lenguaje basado en lo que he visto?'"

Entonces, la idea detrás de medir la perplejidad es que cuando escriben texto, los modelos de IA como ChatGPT naturalmente buscarán lo que mejor saben, que proviene de sus datos de entrenamiento. Cuanto más cerca esté la salida de los datos de entrenamiento, menor será el índice de perplejidad. Los humanos son escritores mucho más caóticos (o al menos esa es la teoría), pero también pueden escribir con poca perplejidad, especialmente cuando imitan un estilo formal utilizado en derecho o ciertos tipos de escritura académica. Además, muchas de las frases que utilizamos son sorprendentemente comunes.

Digamos que estamos adivinando la siguiente palabra en la frase "Me gustaría una taza de _____". La mayoría de la gente rellenaría el espacio en blanco con "agua", "café" o "té". Un modelo de lenguaje entrenado con una gran cantidad de texto en inglés haría lo mismo porque esas frases aparecen con frecuencia en la escritura en inglés. La perplejidad de cualquiera de esos tres resultados sería bastante baja porque la predicción es bastante segura.

Consideremos ahora una conclusión menos común: "Me gustaría una taza de arañas". Tanto los humanos como un modelo de lenguaje bien entrenado quedarían bastante sorprendidos (o "perplejos") por esta frase, por lo que su perplejidad sería alta. (En el momento de escribir este artículo, la frase "Me gustaría una taza de arañas" da exactamente un resultado en una búsqueda en Google, en comparación con 3,75 millones de resultados para "Me gustaría una taza de café").

Si el lenguaje de un fragmento de texto no es sorprendente según el entrenamiento del modelo, la perplejidad será baja, por lo que será más probable que el detector de IA clasifique ese texto como generado por IA. Esto nos lleva al interesante caso de la Constitución de Estados Unidos. En esencia, el lenguaje de la Constitución está tan arraigado en estos modelos que lo clasifican como generado por IA, creando un falso positivo.

El creador de GPTZero, Edward Tian, dijo a Ars Technica: "La Constitución de los EE. UU. es un texto que se introduce repetidamente en los datos de entrenamiento de muchos modelos de lenguaje grandes. Como resultado, muchos de estos modelos de lenguaje grandes están entrenados para generar textos similares a la Constitución y otros de uso frecuente". textos de entrenamiento. GPTZero predice textos que probablemente serán generados por grandes modelos de lenguaje, y así ocurre este fenómeno fascinante".

El problema es que es completamente posible que los escritores humanos también creen contenido con poca perplejidad (si escriben principalmente usando frases comunes como "Me gustaría una taza de café", por ejemplo), lo que socava profundamente la confiabilidad de la IA. detectores de escritura.

Otra propiedad del texto medida por GPTZero es la "explosión", que se refiere al fenómeno en el que ciertas palabras o frases aparecen en rápida sucesión o "explosiones" dentro de un texto. Básicamente, la ráfaga evalúa la variabilidad en la longitud y estructura de las oraciones a lo largo de un texto.

Los escritores humanos a menudo exhiben un estilo de escritura dinámico, lo que da como resultado textos con oraciones de longitud y estructura variables. Por ejemplo, podríamos escribir una oración larga y compleja seguida de una corta y simple, o podríamos usar una serie de adjetivos en una oración y ninguno en la siguiente. Esta variabilidad es un resultado natural de la creatividad y la espontaneidad humanas.

El texto generado por IA, por otro lado, tiende a ser más consistente y uniforme, al menos hasta ahora. Los modelos de lenguaje, que todavía están en su infancia, generan oraciones con longitudes y estructuras más regulares. Esta falta de variabilidad puede dar como resultado una puntuación baja de ráfaga, lo que indica que el texto puede haber sido generado por IA.

Sin embargo, la ráfaga tampoco es una métrica infalible para detectar contenido generado por IA. Como ocurre con la perplejidad, hay excepciones. Un escritor humano puede escribir en un estilo consistente y altamente estructurado, lo que resulta en una puntuación baja de ráfaga. Por el contrario, se podría entrenar un modelo de IA para emular una variabilidad más parecida a la humana en la longitud y estructura de las oraciones, aumentando su puntuación de ráfaga. De hecho, a medida que los modelos de lenguaje de IA mejoran, los estudios muestran que su escritura se parece cada vez más a la escritura humana todo el tiempo.

En última instancia, no existe una fórmula mágica que pueda distinguir siempre el texto escrito por humanos del compuesto por una máquina. Los detectores de escritura de IA pueden hacer conjeturas sólidas, pero el margen de error es demasiado grande para confiar en ellos para obtener un resultado preciso.

Un estudio de 2023 de investigadores de la Universidad de Maryland demostró empíricamente que los detectores de texto generado por IA no son confiables en escenarios prácticos y que funcionan sólo marginalmente mejor que un detector aleatorio. clasificador. No sólo devuelven falsos positivos, sino que los detectores y los esquemas de marcas de agua (que buscan alterar la elección de palabras de una manera reveladora) pueden ser fácilmente derrotados por "ataques de paráfrasis" que modifican la salida del modelo de lenguaje manteniendo su significado.

"Creo que son en su mayoría aceite de serpiente", dijo el investigador de IA Simon Willison sobre los productos detectores de IA. "Todo el mundo quiere desesperadamente que funcionen, especialmente la gente del sector educativo, y es fácil vender un producto que todo el mundo quiere, especialmente cuando es muy difícil demostrar si es eficaz o no".

Además, un [estudio reciente] (https://arxiv.org/abs/2304.02819) de investigadores de la Universidad de Stanford demostró que la detección de escritura por IA está sesgada en contra de los hablantes no nativos de inglés, lo que arroja altas tasas de falsos positivos en sus escritos escritos por humanos. funcionar y potencialmente penalizarlos en el discurso global si los detectores de IA se utilizan ampliamente.

Algunos educadores, como el profesor Ethan Mollick de Wharton School, están aceptando esta nueva realidad infundida con IA e incluso promoviendo activamente el uso de herramientas como ChatGPT para ayudar en el aprendizaje. La reacción de Mollick recuerda cómo algunos profesores abordaron la introducción de las calculadoras de bolsillo en las aulas: fueron inicialmente controvertidas pero finalmente llegaron a ser ampliamente aceptadas.

"No existe ninguna herramienta que pueda detectar de manera confiable la escritura ChatGPT-4/Bing/Bard", tuiteó Mollick recientemente. "Las herramientas existentes están entrenadas en GPT-3.5, tienen altas tasas de falsos positivos (más del 10%) y son increíblemente fáciles de derrotar". Además, ChatGPT en sí no puede evaluar si el texto está escrito por IA o no, agregó, por lo que no se puede simplemente pegar el texto y preguntar si fue escrito por ChatGPT.

En una conversación con Ars Technica, Tian de GPTZero pareció ver la escritura en la pared y dijo que planea alejar su empresa de la detección básica de IA hacia algo más ambiguo. "En comparación con otros detectores, como Turn-it-in, nos estamos alejando de la construcción de detectores para detectar a los estudiantes y, en cambio, la próxima versión de GPTZero no detectará la IA, sino que resaltará lo que es más humano y ayudará a los profesores y estudiantes a navegar. juntos el nivel de participación de la IA en la educación", dijo.

¿Qué opina de que la gente utilice GPTZero para acusar a los estudiantes de deshonestidad académica? A diferencia de las empresas tradicionales de verificación de plagio, Tian dijo: "No queremos que la gente use nuestras herramientas para castigar a los estudiantes. En cambio, para el caso de uso educativo, tiene mucho más sentido dejar de depender de la detección a nivel individual (donde algunos profesores castigan a los estudiantes). los estudiantes y algunos maestros están bien con las tecnologías de IA) pero aplicar estas tecnologías en la escuela [o] junta escolar [nivel], incluso en todo el país, porque ¿cómo podemos diseñar las políticas adecuadas para responder a los estudiantes que usan IA? tecnologías hasta que entendamos lo que está sucediendo y el grado de participación de la IA en todos los ámbitos?"

Sin embargo, a pesar de los problemas inherentes con la precisión, GPTZero todavía se anuncia como "creado para educadores" y su sitio muestra con orgullo una lista de universidades que supuestamente utilizan la tecnología. Existe una extraña tensión entre los objetivos declarados de Tian de no castigar a los estudiantes y su deseo de ganar dinero con su invento. Pero cualesquiera que sean los motivos, el uso de estos productos defectuosos puede tener efectos terribles en los estudiantes. Quizás el resultado más dañino del uso de estas herramientas inexactas e imperfectas sea el costo personal de las acusaciones falsas.

Un caso reportado de USA Today destaca el tema de una manera sorprendente. Un estudiante fue acusado de hacer trampa basándose en herramientas de detección de texto de IA y tuvo que presentar su caso ante una junta de honor. Su defensa incluyó mostrar su historial de Google Docs para demostrar su proceso de investigación. A pesar de que la junta no encontró evidencia de trampa, el estrés de prepararse para defenderse llevó al estudiante a experimentar ataques de pánico. Escenarios similares se han producido docenas (si no cientos) de veces en los EE. UU. y están [comúnmente documentados](https://www.google.com/search?client=firefox-b-1-d&q=accused+of+using +AI+site%3Areddit.com) en hilos desesperados de Reddit.

Las sanciones comunes por deshonestidad académica a menudo incluyen calificaciones reprobatorias, período de prueba académica, suspensión o incluso expulsión, según la gravedad y la frecuencia de la infracción. Se trata de una acusación difícil de afrontar, y el uso de tecnología defectuosa para imponer esas acusaciones parece casi una caza de brujas académica moderna.

A la luz de la alta tasa de falsos positivos y el potencial de castigar injustamente a los hablantes no nativos de inglés, está claro que la ciencia de detectar texto generado por IA está lejos de ser infalible, y probablemente nunca lo será. Los humanos pueden escribir como máquinas y las máquinas pueden escribir como humanos. Una pregunta más útil podría ser: ¿Los humanos que escriben con ayuda de una máquina entienden lo que dicen? Si alguien está utilizando herramientas de inteligencia artificial para completar contenido fáctico de una manera que no comprende, debería ser bastante fácil de entender para un lector o profesor competente.

La asistencia de escritura de IA llegó para quedarse y, si se usan sabiamente, los modelos de lenguaje de IA pueden potencialmente acelerar la composición de una manera responsable y ética. Es posible que los profesores quieran fomentar el uso responsable y hacer preguntas como: ¿Refleja la escritura las intenciones y el conocimiento del escritor? ¿Y puede el autor humano dar fe de todos los hechos incluidos?

Un profesor que también sea un experto en la materia podría interrogar a los estudiantes sobre el contenido de su trabajo posteriormente para ver qué tan bien lo entienden. Escribir no es sólo una demostración de conocimiento, sino una proyección de la reputación de una persona, y si el autor humano no puede aceptar todos los hechos representados en el escrito, la asistencia de la IA no se ha utilizado de manera adecuada.

Como cualquier herramienta, los modelos de lenguaje se pueden utilizar mal o con habilidad. Y esa habilidad también depende del contexto: puedes pintar una pared entera con un pincel o crear la Mona Lisa. Ambos escenarios son un uso apropiado de la herramienta, pero cada uno exige diferentes niveles de atención humana y creatividad. De manera similar, algunas tareas de escritura de memoria (tal vez generar informes meteorológicos estandarizados) pueden acelerarse adecuadamente mediante la IA, mientras que las tareas más complejas necesitan más cuidado y atención humana. No existe una solución blanca o negra.

Por ahora, Ethan Mollick le dijo a Ars Technica que a pesar del pánico de los educadores, no está convencido de que alguien deba usar detectores de escritura con IA. "No soy un experto técnico en detección de IA", dijo Mollick. "Puedo hablar desde la perspectiva de un educador que trabaja con IA para decir que, a partir de ahora, la escritura de IA es indetectable y probablemente seguirá siéndolo, los detectores de IA tienen altas tasas de falsos positivos y, como resultado, no deberían usarse".