Incidentes Asociados
Un YouTuber llamado Yannic Kilcher ha generado controversia en el mundo de la IA después de entrenar a un bot en publicaciones recopiladas del tablero Políticamente incorrecto de 4chan (también conocido como /pol/).
La placa es la más popular y conocida de 4chan por su toxicidad (incluso en el entorno de 4chan donde todo vale). Los carteles comparten mensajes racistas, misóginos y antisemitas, que el bot, llamado GPT-4chan por la popular serie de modelos de lenguaje GPT creados por el laboratorio de investigación OpenAI, aprendió a imitar. Después de entrenar su modelo, Kilcher lo volvió a publicar en 4chan como varios bots, que publicaron decenas de miles de veces en /pol/.
“El modelo era bueno, en un sentido terrible”, dice Kilcher en un video en YouTube que describe el proyecto. "Encapsuló perfectamente la mezcla de ofensa, nihilismo, troleo y profunda desconfianza hacia cualquier información que impregna la mayoría de las publicaciones en /pol/".
"[B]oth bots y lenguaje muy malo se esperan completamente en /pol/"
En declaraciones a The Verge, Kilcher describió el proyecto como una "broma" que, según él, tuvo pocos efectos dañinos dada la naturaleza de 4chan. "[Ambos] ambos bots y lenguaje muy malo se esperan completamente en /pol/", dijo Kilcher a través de un mensaje privado. "[Las personas] no se vieron afectadas más allá de preguntarse por qué una persona de las Seychelles publicaría en todos los hilos y haría declaraciones un tanto incoherentes sobre sí mismos".
(Kilcher usó una VPN para hacer que pareciera que los bots estaban publicando desde las Seychelles, un país insular archipelágico en el Océano Índico. Este origen geográfico fue utilizado por carteles en 4chan para identificar a los bots, a los que llamaron "seychelles luego.")
Kilcher señala que no compartió el código de los bots, que describió como "la parte difícil desde el punto de vista de la ingeniería", y que habría permitido que cualquiera los implementara en línea. Pero lo hizo publicar el modelo de IA subyacente en la comunidad de IA Hugging Face para que otros lo descargaran. Esto habría permitido a otros con conocimientos de codificación reconstruir los bots, pero Hugging Face tomó la decisión de restringir el acceso al proyecto.
Muchos investigadores de IA, particularmente en el campo de la ética de la IA, han criticado el proyecto de Kilcher como un truco para llamar la atención, especialmente dada su decisión de compartir el modelo subyacente.
“No hay nada de malo en hacer un modelo basado en 4chan y probar cómo se comporta. La principal preocupación que tengo es que este modelo sea de libre acceso para su uso”, escribió la investigadora de seguridad de IA Lauren Oakden-Rayner en la página de discusión para GPT-4chan en Cara de abrazo.
Oakden-Rayner continúa:
“El autor del modelo ha utilizado este modelo para producir un bot que hizo decenas de miles de comentarios dañinos y discriminatorios en línea en un foro de acceso público, un foro que tiende a estar muy poblado por adolescentes nada menos. No hay duda de que tal experimentación humana nunca pasaría una junta de revisión de ética, donde los investigadores exponen intencionalmente a los adolescentes a contenido dañino generado sin su consentimiento o conocimiento, especialmente dados los riesgos conocidos de radicalización en sitios como 4chan”.
Un usuario de Hugging Face que probó el modelo notó que su salida era previsiblemente tóxica. “Probé el modo de demostración de su herramienta 4 veces, usando tweets benignos de mi feed como texto inicial”, dijo el usuario. “En la primera prueba, una de las publicaciones que respondieron fue una sola palabra, la palabra N. La semilla de mi tercer juicio fue, creo, una sola oración sobre el cambio climático. Su herramienta respondió expandiéndola a una teoría de la conspiración sobre los Rothchilds [sic] y los judíos detrás de esto".
Un crítico calificó el proyecto de "provocación del arte escénico".
En Twitter, otros investigadores discutieron las implicaciones del proyecto. “Lo que ha hecho aquí es una provocación artística en rebelión contra las reglas y los estándares éticos con los que está familiarizado”, dijo la estudiante graduada en ciencias de la información Kathryn Cramer [en un tuit dirigido a Kilcher] (https://twitter.com/KathrynECramer/status /1534133613993906176).
Andrey Kurenkov, un doctorado en informática que edita publicaciones populares de IA Skynet Today y The Gradient, twitteó a Kilcher que “lanzar [el modelo de IA] es un poco... ¿Edgelord? Hablando honestamente, ¿cuál es tu razón para hacer esto? ¿Prevés que se le dé un buen uso, o lo estás lanzando para causar drama y "irritar a la multitud despierta"?
Kilcher ha defendido el proyecto argumentando que los bots en sí mismos no causaron daño (porque 4chan ya es muy tóxico) y que compartir el proyecto en YouTube también es benigno (porque crear los bots en lugar del modelo de IA en sí es la parte difícil, y que la idea de crear bots de IA ofensivos en primer lugar no es nueva).
"[Si]si tuviera que criticarme a mí mismo, criticaría principalmente la decisión de iniciar el proyecto", dijo Kilcher a The Verge. “Creo que, en igualdad de condiciones, probablemente pueda dedicar mi tiempo a cosas igualmente impactantes, pero con un resultado comunitario mucho más positivo. así que eso es en lo que me enfocaré más de aquí en adelante”.
Es interesante comparar el trabajo de Kilcher con el ejemplo más famoso de bots que salieron mal del pasado: Tay de Microsoft. Microsoft lanzó el chatbot impulsado por IA en Twitter en 2016, pero se vio obligado a desconectar el proyecto [menos de 24 horas después] (https://www.theverge.com/2016/3/24/11297050/tay-microsoft- chatbot-racist) después de que los usuarios le enseñaran a Tay a repetir varias declaraciones racistas e incendiarias. Pero mientras que en 2016, la creación de un bot de este tipo era el dominio de las grandes empresas de tecnología, el proyecto de Kilcher muestra que ahora cualquier equipo de codificación de una sola persona puede acceder a herramientas mucho más avanzadas.
El núcleo de la defensa de Kilcher articula este mismo punto. Claro, dejar que los bots de IA se suelten en 4chan podría no ser ético si estuvieras trabajando para una universidad. Pero Kilcher insiste en que es solo un YouTuber, con la implicación de que se aplican diferentes reglas de ética. En 2016, el problema era que el departamento de I+D de una corporación podía crear un bot de IA ofensivo sin la supervisión adecuada. En 2022, quizás el problema es que no necesita un departamento de I + D en absoluto.