Incidentes Asociados
En diciembre de 2019, la startup de Utah, Latitude, lanzó un juego en línea pionero llamado AI Dungeon que demostró una nueva forma de colaboración entre humanos y máquinas. La empresa usó tecnología de generación de texto de inteligencia artificial empresa OpenAI para crear un juego de aventuras de elección propia inspirado en Dungeons & Dragons. Cuando un jugador escribía la acción o el diálogo que quería que realizara su personaje, algorithms crearía la siguiente fase de su aventura personalizada e impredecible.
El verano pasado, OpenAI le dio a Latitude acceso anticipado a una versión comercial más potente de su tecnología. En materiales de marketing, OpenAI promocionó AI Dungeon como un ejemplo del potencial comercial y creativo de escribir algoritmos.
Luego, el mes pasado, dice OpenAI, descubrió que AI Dungeon también mostró un lado oscuro de la colaboración humano-IA. Un nuevo sistema de monitoreo reveló que algunos jugadores estaban escribiendo palabras que hacían que el juego generara historias que mostraban encuentros sexuales con niños. OpenAI le pidió a Latitude que tomara medidas inmediatas. "Las decisiones de moderación de contenido son difíciles en algunos casos, pero no en este", dijo el CEO de OpenAI, Sam Altman, en un comunicado. "Este no es el futuro para la IA que ninguno de nosotros queremos".
Latitude activó un nuevo sistema de moderación la semana pasada y provocó una revuelta entre sus usuarios. Algunos se quejaron de que era demasiado sensible y que no podían referirse a una "computadora portátil de 8 años" sin activar un mensaje de advertencia. Otros dijeron que los planes de la compañía para revisar manualmente el contenido marcado indagarían innecesariamente en creaciones ficticias privadas que eran sexualmente explícitas pero que involucraban solo a adultos, un caso de uso popular para AI Dungeon.
En resumen, el intento de Latitude de combinar personas y algoritmos para vigilar el contenido producido por personas y algoritmos se convirtió en un desastre. Los memes furiosos y los reclamos de suscripciones canceladas volaron rápido en Twitter y en las comunidades oficiales de Reddit y Discord de AI Dungeon.
"La comunidad se siente traicionada porque Latitude escanea y accede manualmente y lee contenido literario ficticio privado", dice un jugador de AI Dungeon que se hace llamar Mimi y afirma haber escrito un total estimado de más de 1 millón de palabras con la ayuda de la IA. incluyendo poesía, parodias de Twilight Zone y aventuras eróticas. Mimi y otros usuarios molestos dicen que entienden el deseo de la compañía de vigilar el contenido visible públicamente, pero dicen que se ha extralimitado y arruinado un poderoso campo de juego creativo. “Me permitió explorar aspectos de mi psique que nunca me di cuenta de que existían”, dice Mimi.
Un portavoz de Latitude dijo que tanto su sistema de filtrado como sus políticas de contenido aceptable se están refinando. El personal había prohibido previamente a los jugadores que sabían que habían usado AI Dungeon para generar contenido sexual con niños. Pero después de la reciente advertencia de OpenAI, la empresa está trabajando en los "cambios necesarios", dijo el portavoz. Latitude prometió en una publicación de blog la semana pasada que AI Dungeon "seguiría admitiendo otro contenido NSFW, incluido el contenido para adultos consensuado, la violencia y las blasfemias”.
Será difícil bloquear el sistema de IA para que no cree algunos tipos de contenido sexual o para adultos y permitir otros. La tecnología como OpenAI puede generar texto en muchos estilos diferentes porque se construye usando algoritmos de aprendizaje automático que han digerido los patrones estadísticos del uso del lenguaje en miles de millones de palabras extraídas de la web, incluidas partes no apropiadas para menores. El software es capaz de momentos de mímica sorprendente, pero no entiende las categorías sociales, legales o de género como lo hacen las personas. Agregue la inventiva diabólica de Homo internetus, y el resultado puede ser extraño, hermoso o tóxico.
OpenAI lanzó su tecnología de generación de texto como código abierto a fines de 2019, pero el año pasado convirtió una versión significativamente mejorada, llamada GPT-3, en un [servicio comercial] (https://www.wired.com/story/openai-text- generador-va-comercial/). Los clientes como Latitude pagan para introducir cadenas de texto y obtener la mejor suposición del sistema sobre qué texto debe seguir. El servicio llamó la atención de la industria de la tecnología después de que los programadores a los que se les otorgó acceso anticipado compartieron [chistes, sonetos y código] con una fluidez impresionante (https://www.wired.com/story/ai-text-generator-gpt-3-learning- language-fitfully/) generado por la tecnología.
OpenAI dijo que el servicio empoderaría a las empresas y las nuevas empresas y otorgó a Microsoft, un gran patrocinador de OpenAI, una licencia exclusiva para los algoritmos subyacentes. WIRED y algunos codificadores e investigadores de IA que probaron el sistema demostraron que también podía generar texto desagradable, como antisemita comentarios y propaganda extremista. OpenAI dijo que examinaría cuidadosamente a los clientes para descartar a los malos, y exigió que la mayoría de los clientes, pero no Latitude, usaran filtros creados por el proveedor de IA para bloquear blasfemias, discursos de odio o contenido sexual.
Fuera del centro de atención, AI Dungeon proporcionó un acceso relativamente sin restricciones a la tecnología de generación de texto de OpenAI. En diciembre de 2019, el mes en que se lanzó el juego utilizando la versión anterior de código abierto de la tecnología de OpenAI, ganó 100 000 jugadores. Algunos descubrieron rápidamente y llegaron a apreciar su fluidez con contenido sexual. Otros se quejaron de que la IA sacaba a relucir temas sexuales espontáneamente, por ejemplo, cuando intentaban viajar montados en un dragón y su aventura tomaba un giro inesperado.
El cofundador de Latitude, Nick Walton, reconoció el problema en la comunidad oficial de Reddit del juego a los pocos días del lanzamiento. Dijo que varios jugadores le habían enviado ejemplos que los hicieron "sentirse profundamente incómodos", y agregó que la compañía estaba trabajando en tecnología de filtrado. Desde los primeros meses del juego, los jugadores también notaron, y publicaron en línea para marcar, que a veces incluía a niños en escenarios sexuales.
Las comunidades oficiales de Reddit y Discord de AI Dungeon agregaron canales dedicados para discutir el contenido para adultos generado por el juego. Latitude agregó un "modo seguro" opcional que filtró las sugerencias de la IA con ciertas palabras. Sin embargo, como todos los filtros automatizados, no era perfecto. Y algunos jugadores notaron que la configuración supuestamente segura mejoró la escritura erótica del generador de texto porque usaba más analogías y eufemismos. La compañía también agregó un nivel de suscripción premium para generar ingresos.
Cuando AI Dungeon agregó los algoritmos de escritura comercial más potentes de OpenAI en julio de 2020, la escritura se volvió aún más impresionante. "El gran salto en la creatividad y la habilidad para contar historias fue celestial", dice un jugador veterano. El sistema también se volvió notablemente más creativo en su capacidad para explorar temas sexualmente explícitos, dice esta persona. Durante un tiempo, el año pasado, los jugadores notaron que Latitude estaba experimentando con un filtro que reemplazaba automáticamente las apariciones de la palabra "violación" con "respeto", pero la función se eliminó.
El jugador veterano se encontraba entre los aficionados de AI Dungeon que adoptaron el juego como una herramienta de escritura mejorada por IA para explorar temas para adultos, incluso en un grupo de escritura dedicado. Las sugerencias no deseadas del algoritmo podrían eliminarse de una historia para dirigirla en una dirección diferente; los resultados no se publicaron públicamente a menos que una persona decidiera compartirlos.
Latitude se negó a compartir cifras sobre cuántas aventuras contenían contenido sexual. El sitio web de OpenAI dice AI Dungeon atrae a más de 20 000 jugadores cada día.
Un jugador de AI Dungeon que publicó la semana pasada sobre una falla de seguridad que hizo que todas las historias generadas en el juego fueran de acceso público dice que descargó varios cientos de miles de aventuras creadas durante cuatro días en Abril. Analizó una muestra de 188.000 de ellos y encontró que el 31 por ciento contenía palabras que sugerían que eran sexualmente explícitos. Ese análisis y la falla de seguridad, ahora corregida, se sumaron a la ira de algunos jugadores por el nuevo enfoque de Latitude para moderar el contenido.
Latitude ahora enfrenta el desafío de recuperar la confianza de los usuarios mientras cumple con los requisitos de OpenAI para un control más estricto sobre su generador de texto. La startup ahora debe usar la tecnología de filtrado de OpenAI, dijo un portavoz de OpenAI.
Cómo implementar de manera responsable los sistemas de IA que han ingerido grandes cantidades de texto de Internet, incluidas algunas partes desagradables, se ha convertido en un tema candente en la investigación de IA. Dos destacados investigadores de Google fueron expulsados [de la empresa](https://www .wired.com/story/second-ai-researcher-says-fired-google/) después de que los gerentes objetaran un [documento](https://www.wired.com/story/behind-paper-led-google-researchers -disparando/) abogando por la precaución con dicha tecnología.
La tecnología se puede usar de formas muy restringidas, como en la búsqueda de Google donde ayuda a analizar el significado de consultas largas. . OpenAI ayudó a AI Dungeon a lanzar una aplicación impresionante pero complicada que permitía a las personas incitar a la tecnología a desarrollar más o menos lo que pudiera.
"Es realmente difícil saber cómo se comportarán estos modelos en la naturaleza", dice Suchin Gururangan, investigador de la Universidad de Washington. Contribuyó a un estudio y demostración interactiva en línea con investigadores de UW y el Instituto Allen de Inteligencia Artificial muestran que cuando se usó texto prestado de la web para impulsar cinco modelos de generación de lenguaje diferentes, incluido OpenAI, todos fueron capaces de arrojar texto tóxico.
Gururangan ahora es uno de los muchos investigadores que intentan descubrir cómo ejercer un mayor control sobre los sistemas de lenguaje de IA, incluso siendo más cuidadosos con el contenido del que aprenden. OpenAI y Latitude dicen que también están trabajando en eso, al mismo tiempo que intentan ganar dinero con la tecnología.