Problema 2318

Stack Overflow, el sitio de preguntas y respuestas para codificadores y programadores, ha prohibido temporalmente usuarios de compartir respuestas generadas por AI chatbot ChatGPT.

Los moderadores del sitio dijeron que la prohibición era temporal y que se tomaría una decisión final en el futuro después de consultar con su comunidad. Pero, como explicaron los moderadores, ChatGPT simplemente hace que sea demasiado fácil para los usuarios generar respuestas e inundar el sitio con respuestas que parecen correctas a primera vista, pero que a menudo son incorrectas al examinarlas de cerca.

"El problema principal es que, si bien las respuestas que produce ChatGPT tienen una alta tasa de errores, por lo general parece que podrían ser buenas y las respuestas son muy fáciles de producir", escribieron los moderadores (énfasis suyo). "Como tal, necesitamos que el volumen de estas publicaciones se reduzca [...] Entonces, por ahora, no se permite el uso de ChatGPT para crear publicaciones aquí en Stack Overflow. Si se cree que un usuario usó ChatGPT después de este período temporal se publica la política, se impondrán sanciones para evitar que los usuarios continúen publicando dicho contenido, incluso si las publicaciones serían aceptables".

ChatGPT es un chatbot experimental creado por OpenAI y basado en su generador de texto de autocompletado GPT-3.5. Una demostración web para el bot fue lanzada la semana pasada y desde entonces ha sido acogida con entusiasmo por los usuarios de la web. . La interfaz del bot alienta a las personas a hacer preguntas y, a cambio, ofrece resultados impresionantes y fluidos en una variedad de consultas; desde generar poemas, canciones y guiones de televisión hasta responder preguntas de trivia y escribir y depurar líneas de código.

Pero mientras que muchos usuarios quedaron impresionados con las capacidades de ChatGPT, otros notaron su persistente tendencia a generar respuestas plausibles pero falsas. Pídale al bot que escriba una biografía de una figura pública, por ejemplo, y es posible que inserte datos biográficos incorrectos con total confianza. Pídele que explique cómo programar software para una función específica y de manera similar puede producir código creíble pero en última instancia incorrecto.

Esta es una de varias fallas conocidas de modelos de generación de texto de IA, también conocidos como modelos de lenguaje extenso o LLM. Estos sistemas se entrenan mediante el análisis de patrones en grandes cantidades de texto extraído de la web. Buscan regularidades estadísticas en estos datos y las utilizan para predecir qué palabras deben aparecer a continuación en una oración determinada. Sin embargo, esto significa que carecen de reglas codificadas sobre cómo funcionan ciertos sistemas en el mundo, lo que los lleva a generar "tonterías fluidas".

Dada la enorme escala de estos sistemas, es imposible decir con certeza qué porcentaje de su producción es falso. Pero en el caso de Stack Overflow, la compañía ha juzgado por ahora que el riesgo de engañar a los usuarios es demasiado alto.

La decisión de Stack Overflow es particularmente notable ya que los expertos en la comunidad de IA están debatiendo actualmente la amenaza potencial que representan estos grandes modelos de lenguaje. Yann LeCun, científico jefe de IA en Meta, matriz de Facebook, ha argumentado, por ejemplo, que si bien los LLM ciertamente pueden generar malos resultados como información errónea, no facilitar el compartir realmente de este texto, que es lo que causa daño. Pero otros dicen la capacidad de estos sistemas para generar texto de forma económica a gran escala necesariamente aumenta el riesgo de que luego se comparta.

Hasta la fecha, ha habido poca evidencia de los efectos nocivos de los LLM en el mundo real. Pero estos eventos recientes en Stack Overflow respaldan el argumento de que la escala de estos sistemas sí crea nuevos desafíos. Los mods del sitio dicen lo mismo al anunciar la prohibición de ChatGPT, señalando que el "volumen de estas respuestas [generadas por IA] (miles) y el hecho de que las respuestas a menudo requieren una lectura detallada por parte de alguien con al menos algo de experiencia en la materia en para determinar que la respuesta es realmente mala ha inundado efectivamente nuestra infraestructura de curaduría de calidad basada en voluntarios".

La preocupación es que este patrón podría repetirse en otras plataformas, con una avalancha de contenido de IA que ahoga las voces de los usuarios reales con datos plausibles pero incorrectos. Sin embargo, la forma exacta en que esto podría desarrollarse en diferentes dominios de la web dependería de la naturaleza exacta de la plataforma y sus capacidades de moderación. Queda por ver si estos problemas se pueden mitigar o no en el futuro utilizando herramientas como filtros de correo no deseado mejorados.

Mientras tanto, las respuestas al anuncio de la política de Stack Overflow en los foros de discusión del sitio y en foros relacionados como Hacker News han sido de gran apoyo, y los usuarios agregaron la advertencia de que puede ser difícil para los mods de Stack Overflow identificar las respuestas generadas por IA en primer lugar. .

Muchos usuarios han relatado sus propias experiencias usando el bot, con un individuo en Hacker News diciendo que descubrieron que sus respuestas a consultas sobre problemas de codificación eran más frecuentes. mal que bien. "La parte aterradora fue la confianza incorrecta que tenía", dijo el usuario. "El texto se veía muy bien, pero había grandes errores".

Otros transfirieron la cuestión de la moderación de la IA al propio ChatGPT, y le pidieron al bot que generara argumentos para y en contra de su prohibición. En una respuesta, el bot llegó exactamente a la misma conclusión que las propias modificaciones de Stack Overflow: "En general, permitir o no las respuestas generadas por IA en Stack Overflow es una decisión compleja que la comunidad debería considerar cuidadosamente".