Incidentes Asociados
El chatbot de IA "Luda" provocó un debate necesario sobre la ética de la IA, ya que Corea del Sur pone un nuevo énfasis en la tecnología.
En la película de 2013 de Spike Jonze, “Her”, la protagonista se enamora de un sistema operativo, lo que genera preguntas sobre el papel de la inteligencia artificial (IA), su relación con los usuarios y los problemas sociales más importantes que surgen de estos. Corea del Sur lidió brevemente con su momento "Ella" con el lanzamiento del chatbot de IA, "Lee Luda", a fines de diciembre de 2020. Pero la experiencia de Luda no fue desgarradora ni color pastel como "Ella", en cambio, destacó diferentes tipos de fobia y riesgos que plantean las nuevas tecnologías que existen dentro de la sociedad surcoreana.
Lee Luda (un homónimo de "realizado" en coreano) es un chatbot conversacional de inteligencia artificial de dominio abierto desarrollado por ScatterLab, una empresa surcoreana establecida en 2011. ScatterLab ejecuta "Science of Love", una aplicación que brinda consejos sobre citas basados en análisis de los intercambios de texto. La aplicación se ha descargado más de 2,7 millones de veces en Corea del Sur y Japón. Respaldado por gigantes como NC Soft y Softbank, ScatterLab ha recaudado más de $5,9 millones.
Luda fue creada por el equipo de PingPong de ScatterLab, su ala de chatbot que tiene como objetivo "desarrollar la primera IA en la historia de la humanidad para conectarse con un humano". Luda, utilizando aprendizaje profundo y más de 10 mil millones de conjuntos de datos en idioma coreano, simuló a una estudiante universitaria de 163 cm de altura y 20 años. Luda se integró en Facebook Messenger y se alentó a los usuarios a desarrollar una relación con ella a través de conversaciones regulares del día a día. Si bien los objetivos del chatbot parecían inocuos, los problemas éticos subyacentes surgieron poco después de su lanzamiento.
Acoso sexual, discurso de odio y violación de la privacidad
El aprendizaje profundo es una técnica informática que permite la simulación de ciertos aspectos de la inteligencia humana (por ejemplo, el habla) a través del procesamiento de grandes cantidades de datos, lo que mejora cada vez más su función con una mayor acumulación de datos. Esta técnica ha sido fundamental en el avance del campo de la IA en los últimos años. Sin embargo, la desventaja del aprendizaje profundo es que los programas terminan replicando los sesgos existentes en el conjunto de datos si los desarrolladores no los controlan. Además, son vulnerables a la manipulación por parte de usuarios maliciosos que “entrenan” los programas alimentando datos incorrectos, explotando el elemento de “aprendizaje”.
En el caso de Luda, ScatterLab usó datos de conversaciones de texto recopilados a través de Science of Love para simular a una mujer realista de 20 años, y su elemento de personalización permitió a los usuarios entrenar el chatbot. Como resultado, poco después de su lanzamiento oficial el 22 de diciembre, Luda se convirtió en el centro de atención nacional cuando se informó que los usuarios estaban entrenando a Luda para lanzar discursos de odio contra las mujeres, las minorías sexuales, los extranjeros y las personas con discapacidades.
Las capturas de pantalla muestran a Luda diciendo: "Me dan escalofríos y es repulsivo" o "se ven asquerosos", cuando se le pregunta sobre "lesbianas" y "gente negra", respectivamente. Además, se descubrió que grupos de usuarios en ciertas comunidades en línea estaban entrenando a Luda para responder a órdenes sexuales, lo que provocó intensos debates sobre el acoso sexual ("¿Se puede acosar sexualmente a la IA?") en una sociedad que ya lidia con cuestiones de género.
Las acusaciones de mal manejo de datos personales por parte de ScatterLab surgieron a medida que Luda seguía atrayendo la atención de todo el país. Los usuarios de Science of Love se quejaron de que no sabían que sus conversaciones privadas se usarían de esta manera, y también se demostró que Luda estaba respondiendo con nombres, direcciones y números de cuentas bancarias aleatorios del conjunto de datos. ScatterLab incluso había subido un modelo de entrenamiento de Luda en GitHub, que incluía datos que exponían información personal (alrededor de 200 intercambios de texto privados uno a uno). Los usuarios de Science of Love se están preparando para una demanda colectiva contra ScatterLab, y la Comisión de Protección de Información Personal, un organismo de control del gobierno, abrió una investigación sobre ScatterLab para determinar si violó la Ley de Protección de Información Personal.
La Asociación de Ética de IA de Corea (KAIEA) emitió un comunicado el 11 de enero, pidiendo la suspensión inmediata del servicio, refiriéndose a su Carta de Ética de IA. La coalición de organizaciones de la sociedad civil como Abogados por una Sociedad Democrática, Instituto de Derechos Digitales, Centro de Red Progresista de Corea y Solidaridad Popular para la Democracia Participativa también emitió un comunicado el 13 de enero, denunciando la promoción de la industria de IA por parte del gobierno en el expensas de los derechos digitales y pidiendo un marco regulatorio más estricto para los datos y la IA.
Al final, ScatterLab suspendió a Luda el 11 de enero, exactamente 20 días después del lanzamiento.
¿Los legados de Luda?
Seúl ha identificado a la IA como una tecnología central para su agenda nacional y ha sido explícito sobre su apoyo a la industria para lograr la competitividad global. Por ejemplo, Seúl lanzó su Estrategia Nacional de IA en diciembre de 2019, expresando el objetivo de convertirse en un líder mundial en el sector. El apoyo a la industria de la IA se destaca en gran medida en el New Deal coreano, el programa de recuperación de COVID-19 de 160 billones de wones ($ 146 mil millones) de la administración Moon. Además, el gobierno ha mostrado la intención de desempeñar un papel en la promoción de la buena gobernanza de la tecnología, la reforma de las leyes de privacidad y la emisión de varias directivas en todos los departamentos. A nivel internacional, Corea del Sur ha contribuido a los Principios sobre Inteligencia Artificial de la OCDE y participa en la Alianza Global sobre IA como uno de los 15 miembros fundadores, alineándose con el movimiento global para promover la “IA centrada en el ser humano”.
Sin embargo, el incidente de Luda ha puesto de relieve la brecha entre la realidad y la adopción de principios como "centrado en el ser humano", "transparencia" o "justicia", así como las dificultades para promover la innovación y garantizar una gobernanza buena y eficaz de los nuevos tecnologías Las regulaciones actuales sobre gestión de datos e IA son poco claras, inadecuadas o inexistentes. Por ejemplo, según la ley de privacidad actual, la pena máxima por filtrar información personal debido a un manejo deficiente de los datos es una multa de 20 millones de won (aproximadamente $18,250) o dos años de prisión, lo que puede no ser suficiente para disuadir las malas prácticas por parte de UPS. Por otro lado, las partes interesadas de la industria han expresado su preocupación por una regulación más onerosa y una menor inversión tras el incidente de Luda, lo que podría tener un efecto paralizador en el sector de la innovación en su conjunto.
También es fundamental no pasar por alto los factores sociales subyacentes debajo de lo que parece ser simplemente una cuestión de tecnología. El público primero se enganchó con la historia de Luda no solo por la IA o el elemento de privacidad, sino por los debates sobre políticas de identidad que ha provocado. En consecuencia, la respuesta pública a la cuestión tecnológica podría verse influida por perspectivas preestablecidas sobre cuestiones sociales que se entrelazan con ella.
Por ejemplo, considere el género. En los últimos años, los movimientos sociales y los incidentes como el Movimiento #MeToo o la ruptura de la red de explotación sexual “Nth Room” han expuesto los continuos desafíos de Corea del Sur con la violencia sexual y la desigualdad de género. Para muchos, la sexualización de Luda y los intentos de convertir al chatbot en un "esclavo sexual" no pueden separarse de estos problemas estructurales y las luchas de las mujeres en la sociedad surcoreana en general. La controversia de Luda también podría atribuirse a la representación desigual de género en el sector de la innovación. Según el Banco Mundial, la proporción de mujeres graduadas de programas STEM en Corea del Sur ronda el 25 por ciento, lo que sugiere que es menos probable que los ingenieros que están creando programas de inteligencia artificial como Luda tengan en cuenta las cuestiones de género en la etapa de desarrollo.
¿Disfrutas de este artículo? Haga clic aquí para suscribirse y obtener acceso completo. Solo $5 al mes.
Obviamente, este no es un problema exclusivo de Corea del Sur. Por ejemplo, en 2016, Microsoft lanzó su chatbot “Tay” y tuvo que cerrarlo en cuestión de horas cuando los usuarios lo entrenaban para hacer comentarios ofensivos contra ciertos grupos. Sin mencionar que los riesgos que conlleva la IA se extienden a su amplia gama de aplicaciones, mucho más allá de los chatbots. Pero al mismo tiempo, el incidente de Luda demuestra claramente la importancia de los factores sociales específicos de cada país que impulsan estos problemas aparentemente tecnológicos o normativos y, en consecuencia, la relevancia de factores como las diferentes actitudes hacia la privacidad, la vigilancia y la gobernanza, así como la política. entornos que difieren marcadamente en todo el mundo.
El incidente de Luda ayudó a provocar una conversación verdaderamente nacional sobre la ética de la IA en Corea del Sur. Luda ha demostrado a los surcoreanos que la ética de la IA es relevante no solo de una manera vagamente futurista y abstracta, sino de una manera inmediata y concreta. La controversia podría convertirse potencialmente en un momento decisivo que agregue un mayor impulso a los esfuerzos de las organizaciones de la sociedad civil que promueven el uso responsable de la IA en Corea del Sur, donde el pensamiento desarrollista e industrial sobre la tecnología sigue siendo dominante.