Incidents associés
Le chatbot AI "Luda" a déclenché un débat nécessaire sur l'éthique de l'IA alors que la Corée du Sud accorde une nouvelle importance à la technologie.
Dans le film "Her" de Spike Jonze en 2013, le protagoniste tombe amoureux d'un système d'exploitation, soulevant des questions sur le rôle de l'intelligence artificielle (IA), sa relation avec les utilisateurs et les grands problèmes sociaux qui en découlent. La Corée du Sud s'est brièvement attaquée à son moment "Her" avec le lancement du chatbot AI, "Lee Luda", fin décembre 2020. Mais l'expérience Luda n'était pas déchirante ou pastel comme "Her" - au lieu de cela, il a mis en évidence différents types de phobies et de risques posés par les nouvelles technologies qui existent au sein de la société sud-coréenne.
Lee Luda (homonyme de "réalisé" en coréen) est un chatbot d'IA conversationnel à domaine ouvert développé par ScatterLab, une start-up sud-coréenne créée en 2011. ScatterLab gère "Science of Love", une application qui fournit des conseils de rencontres basés sur analyse des échanges textuels. L'application a été téléchargée plus de 2,7 millions de fois en Corée du Sud et au Japon. Soutenu par des géants tels que NC Soft et Softbank, ScatterLab a levé plus de 5,9 millions de dollars.
Luda a été créé par l'équipe PingPong de ScatterLab, son aile de chatbot qui vise à "développer la première IA de l'histoire de l'humanité pour se connecter avec un humain". Luda, utilisant l'apprentissage en profondeur et plus de 10 milliards d'ensembles de données en coréen, a simulé une étudiante de 163 cm de haut et âgée de 20 ans. Luda a été intégrée à Facebook Messenger et les utilisateurs ont été encouragés à développer une relation avec elle par le biais de conversations quotidiennes régulières. Alors que les objectifs du chatbot semblaient anodins, les problèmes éthiques sous-jacents sont apparus peu de temps après son lancement.
Harcèlement sexuel, discours de haine et atteinte à la vie privée
L'apprentissage en profondeur est une technique informatique qui permet la simulation de certains aspects de l'intelligence humaine (par exemple, la parole) grâce au traitement de grandes quantités de données, ce qui améliore de plus en plus sa fonction avec une plus grande accumulation de données. Cette technique a joué un rôle déterminant dans l'avancement du domaine de l'IA ces dernières années. Cependant, l'inconvénient de l'apprentissage en profondeur est que les programmes finissent par reproduire les biais existants dans l'ensemble de données s'ils ne sont pas contrôlés par les développeurs. De plus, ils sont vulnérables à la manipulation par des utilisateurs malveillants qui "entraînent" les programmes en alimentant de mauvaises données, exploitant l'élément "d'apprentissage".
Dans le cas de Luda, ScatterLab a utilisé les données de conversations textuelles collectées via Science of Love pour simuler une femme réaliste de 20 ans, et son élément de personnalisation a permis aux utilisateurs de former le chatbot. En conséquence, peu de temps après son lancement officiel le 22 décembre, Luda a attiré l'attention nationale lorsqu'il a été signalé que les utilisateurs entraînaient Luda à cracher des discours de haine contre les femmes, les minorités sexuelles, les étrangers et les personnes handicapées.
Des captures d'écran montrent Luda en train de dire, "ils me donnent la chair de poule, et c'est répugnant" ou "ils ont l'air dégoûtant", lorsqu'on les interroge sur les "lesbiennes" et les "noirs", respectivement. De plus, il a été découvert que des groupes d'utilisateurs dans certaines communautés en ligne entraînaient Luda à répondre aux commandes sexuelles, ce qui a provoqué des discussions intenses sur le harcèlement sexuel («l'IA peut-elle être harcelée sexuellement»?) Dans une société déjà aux prises avec des problèmes de genre.
Des accusations de mauvaise gestion des données personnelles par ScatterLab ont émergé alors que Luda continuait d'attirer l'attention du pays. Les utilisateurs de Science of Love se sont plaints de ne pas savoir que leurs conversations privées seraient utilisées de cette manière, et il a également été démontré que Luda répondait avec des noms, des adresses et des numéros de compte bancaire aléatoires à partir de l'ensemble de données. ScatterLab avait même téléchargé un modèle de formation de Luda sur GitHub, qui comprenait des données qui exposaient des informations personnelles (environ 200 échanges de texte privés en tête-à-tête). Les utilisateurs de Science of Love se préparent à un recours collectif contre ScatterLab, et la Commission de protection des informations personnelles, un organisme de surveillance du gouvernement, a ouvert une enquête sur ScatterLab pour déterminer s'il a violé la loi sur la protection des informations personnelles.
L'Association coréenne d'éthique de l'IA (KAIEA) a publié une déclaration le 11 janvier, appelant à la suspension immédiate du service, se référant à sa Charte d'éthique de l'IA. La coalition d'organisations de la société civile telles que Lawyers for a Democratic Society, Digital Rights Institute, Korean Progressive Network Center et People's Solidarity for Participatory Democracy a également publié une déclaration le 13 janvier, dénonçant la promotion de l'industrie de l'IA par le gouvernement au au détriment des droits numériques et appelant à un cadre réglementaire plus strict pour les données et l'IA.
Au final, ScatterLab a suspendu Luda le 11 janvier, exactement 20 jours après le lancement.
L'héritage de Luda ?
Séoul a identifié l'IA comme une technologie de base pour son programme national et a été explicite sur son soutien à l'industrie pour atteindre la compétitivité mondiale. Par exemple, Séoul a lancé sa stratégie nationale sur l'IA en décembre 2019, exprimant l'objectif de devenir un leader mondial du secteur. Le soutien à l'industrie de l'IA figure en bonne place dans le New Deal coréen, le programme de récupération COVID-19 de 160 000 milliards de wons (146 milliards de dollars) de l'administration Moon. En outre, le gouvernement a montré son intention de jouer un rôle dans la promotion d'une bonne gouvernance de la technologie, la réforme des lois sur la protection de la vie privée et la publication de diverses directives dans tous les ministères. À l'échelle internationale, la Corée du Sud a contribué aux Principes de l'OCDE sur l'intelligence artificielle et participe au Partenariat mondial sur l'IA en tant que l'un des 15 membres fondateurs, s'alignant sur le mouvement mondial pour promouvoir «l'IA centrée sur l'humain».
Cependant, l'incident de Luda a mis en évidence l'écart entre la réalité et l'adoption de principes tels que « centrée sur l'humain », « la transparence » ou « l'équité », ainsi que les difficultés de promouvoir l'innovation tout en assurant une bonne et efficace gouvernance des nouvelles les technologies. Les réglementations actuelles sur la gestion des données et l'IA sont peu claires, inadéquates ou inexistantes. Par exemple, en vertu de la loi actuelle sur la protection de la vie privée, la peine maximale pour la fuite d'informations personnelles en raison d'une mauvaise gestion des données est une amende de 20 millions de wons (environ 18 250 dollars) ou deux ans de prison, ce qui peut ne pas être suffisant pour dissuader les mauvaises pratiques en commençant par UPS. D'autre part, les parties prenantes de l'industrie ont exprimé des inquiétudes concernant une réglementation plus lourde et une diminution des investissements à la suite de l'incident de Luda, ce qui pourrait avoir un effet dissuasif sur le secteur de l'innovation dans son ensemble.
Il est également essentiel de ne pas occulter les facteurs sociaux sous-jacents sous ce qui semble être simplement une question de technologie. Le public s'est d'abord accroché à l'histoire de Luda, non seulement à cause de l'IA ou de l'élément de confidentialité, mais à cause des débats sur la politique identitaire qu'elle a provoqués. Par conséquent, la réponse publique à la question technologique pourrait être influencée par des perspectives préétablies sur des questions sociales qui s'y rattachent.
Par exemple, considérez le genre. Ces dernières années, des mouvements sociaux et des incidents tels que le mouvement #MeToo ou le démantèlement du réseau d'exploitation sexuelle "Nth Room" ont révélé les défis persistants de la Corée du Sud en matière de violence sexuelle et d'inégalité entre les sexes. Pour beaucoup, la sexualisation de Luda et les tentatives de transformer le chatbot en « esclave sexuel » ne peuvent être séparées de ces problèmes structurels et des luttes des femmes dans la société sud-coréenne au sens large. La controverse Luda pourrait également être attribuée à la représentation inégale des sexes dans le secteur de l'innovation. Selon la Banque mondiale, la part sud-coréenne des femmes diplômées des programmes STEM oscille autour de 25 %, ce qui suggère que les ingénieurs qui créent des programmes d'IA comme Luda sont moins susceptibles de prendre en compte les questions de genre au stade du développement.
Vous aimez cet article ? Cliquez ici pour vous inscrire pour un accès complet. Juste 5 $ par mois.
Évidemment, ce n'est pas un problème propre à la Corée du Sud. Par exemple, en 2016, Microsoft a lancé son chatbot "Tay" et a dû le fermer en quelques heures lorsque les utilisateurs l'entraînaient à faire des remarques offensantes contre certains groupes. Sans oublier que les risques liés à l'IA s'étendent à son large éventail d'applications, bien au-delà des chatbots. Mais en même temps, l'incident de Luda démontre clairement l'importance des facteurs sociaux spécifiques à chaque pays à l'origine de ces problèmes apparemment technologiques ou réglementaires, et par la suite, la pertinence de facteurs tels qu'une attitude différente envers la vie privée, la surveillance et la gouvernance, ainsi que la politique environnements très différents à travers le monde.
L'incident de Luda a contribué à provoquer une véritable conversation nationale sur l'éthique de l'IA en Corée du Sud. Luda a démontré aux Sud-Coréens que l'éthique de l'IA est pertinente non seulement de manière vaguement futuriste et abstraite, mais de manière immédiate et concrète. La controverse pourrait potentiellement devenir un moment décisif qui ajoute un plus grand élan aux efforts des organisations de la société civile promouvant une utilisation responsable de l'IA en Corée du Sud, où la pensée développementaliste et industrielle sur la technologie reste encore dominante.