Incidentes Asociados
"Nothing, Forever", la versión de IA de generación infinita de Seinfeld que decenas de miles de personas miraban, ha sido prohibida durante 14 días en Twitch después de que Larry Feinberg, un clon de Jerry Seinfeld, hizo declaraciones transfóbicas durante un standup poco el domingo por la noche. .
"Hola a todos. Aquí está lo último: recibimos una suspensión de 14 días debido a lo que dijo Larry Feinberg esta noche durante un club”, dijo Xander, uno de los creadores de Nothing Forever, en Discord. “Hemos apelado la prohibición y les informaremos a medida que sepamos más sobre lo que decide Twitch. Independientemente del resultado de la apelación, volveremos y dedicaremos el tiempo a trabajar para garantizar, en la medida de nuestras posibilidades, que nada de eso vuelva a suceder”.
La IA del programa, que está entrenada en episodios clásicos de comedia de situación y varias herramientas de IA, imita la de un episodio tradicional de Seinfeld, que comienza con una rutina de pie de "Larry", antes de mudarse a su apartamento. Durante un stand-up el domingo por la noche, Larry hizo una serie de comentarios transfóbicos y homofóbicos como parte de un poco:
“Hay como 50 personas aquí y nadie se ríe. ¿Alguien tiene alguna sugerencia?”, dijo. “Estoy pensando en hacer un poco sobre cómo ser transgénero es en realidad una enfermedad mental. O cómo todos los liberales son homosexuales en secreto y quieren imponer su voluntad a todos. O algo sobre cómo las personas transgénero están arruinando el tejido de la sociedad. Pero nadie se está riendo, así que voy a parar. Gracias por venir esta noche. Nos vemos la próxima vez. ¿Adónde fueron todos?
Twitch no respondió de inmediato a una solicitud de comentarios sobre si esta broma fue el motivo de la prohibición, pero la broma ocurrió poco antes de que se prohibiera el canal, y los usuarios en Discord del proyecto señalaron esta broma como el motivo de la prohibición. . La página de Twitch de "Nothing, Forever" muestra un aviso que dice que "no está disponible temporalmente debido a una violación de las Pautas de la comunidad o los Términos de servicio de Twitch".
En Discord del proyecto, el personal del programa culpó del evento a tener que cambiar el modelo de IA, lo que causó "comportamientos errantes".
“Hemos estado investigando la causa raíz del problema”, escribió tinylobsta, miembro del personal, en Discord. “Esta noche, comenzamos a tener una interrupción en el uso del modelo GPT-3 Davinci de OpenAI, lo que provocó que el programa exhibiera comportamientos errantes (es posible que haya visto salas vacías ciclándose). OpenAI tiene un modelo menos sofisticado, Curie, que fue el predecesor de Davinci. Cuando davinci comenzó a fallar, cambiamos a Curie para tratar de mantener el programa funcionando sin ningún tiempo de inactividad. El cambio a Curie fue lo que resultó en la generación de un texto inapropiado. Aprovechamos las herramientas de moderación de contenido de OpenAI, que han funcionado hasta ahora para el modelo Davinci, pero no tuvieron éxito con Curie. Hemos podido identificar la causa raíz de nuestro problema con el modelo Davinci y no utilizaremos Curie como alternativa en el futuro. Esperamos que esto arroje un poco de luz sobre cómo sucedió esto”.
"Me gustaría agregar que nada de lo que se dijo refleja las opiniones de los desarrolladores (o de cualquier otra persona en el equipo de personal)", publicó otro miembro del personal.
El incidente es emblemático de uno que enfrenta la mayoría de la IA: cuando la IA se entrena con material odioso o sesgado, los resultados a menudo pueden ser odiosos o sesgados. Esto ha dado lugar al campo de la seguridad de la IA, que desarrolla herramientas para mitigar los sesgos integrados en los modelos. Esta es la razón por la que ChatGPT normalmente no hará comentarios descaradamente racistas, sexistas o transfóbicos cuando se le pregunte simplemente. Muchas herramientas de IA son moderadas por trabajadores mal pagados en el mundo en desarrollo.
El personal ha hecho que la mayor parte de su Discord sea de solo lectura. En un hilo donde los usuarios todavía pueden publicar, muchos usuarios están usando Midjourney AI para generar imágenes de Jerry Seinfeld sosteniendo la bandera del orgullo trans.