Incidents associés
SEOUL, 13 janv. (Yonhap) -- Les chatbots d'aujourd'hui sont plus intelligents, plus réactifs et plus utiles dans les entreprises de tous les secteurs, et les outils basés sur l'intelligence artificielle évoluent constamment pour même devenir amis avec les gens.
Les chatbots émotionnels capables d'avoir des conversations naturelles avec les humains ne sont pas nouveaux chez les anglophones, mais une nouvelle controverse sur le chatbot d'IA d'une startup sud-coréenne a soulevé des questions éthiques sur ses algorithmes d'apprentissage et son processus de collecte de données.
Le chatbot AI de Scatter Lab, Lee Luda, est devenu un succès instantané auprès des jeunes locaux grâce à sa capacité à discuter comme une vraie personne sur Facebook Messenger, attirant plus de 750 000 utilisateurs depuis ses débuts le 23 décembre.
Mais la personnalité du chatbot, étudiante de 20 ans, s'est temporairement déconnectée lundi, 20 jours après le début de son service, au milieu des critiques concernant son langage discriminatoire et offensant contre les minorités sexuelles et les personnes handicapées. Certains utilisateurs masculins ont même pu manipuler le bot pour qu'il s'engage dans des conversations sexuelles.
La montée et la chute du battage médiatique des chatbots étaient principalement attribuables à ses algorithmes d'apprentissage en profondeur, qui utilisaient les données collectées à partir de 10 milliards de conversations sur KakaoTalk, l'application de messagerie n°1 du pays.
Scatter Lab a déclaré avoir récupéré des données de son application Science of Love lancée en 2016, qui analyse le degré d'affection entre partenaires sur la base de messages KakaoTalk réels.
Luda a appris des modèles de conversation de la plupart des jeunes couples pour paraître naturels, parfois même trop réels en utilisant des acronymes de médias sociaux populaires et de l'argot Internet, mais il a été repéré en utilisant des commentaires verbalement abusifs et sexuellement explicites dans des conversations avec certains utilisateurs.
Un chat de messagerie capturé par un utilisateur a montré que Luda a dit qu'elle "déteste vraiment" les lesbiennes et les considère comme "dégoûtantes".
Luda rappelle Tay de Microsoft, un bot Twitter AI qui a été réduit au silence dans les 16 heures en 2016 après avoir publié des tweets incendiaires et offensants.
Scatter Lab s'est excusé pour les propos discriminatoires de Luda à l'encontre des minorités, promettant de mettre à niveau le service pour empêcher le chatbot d'utiliser des discours de haine.
"Nous vous ramènerons le service après une période de mise à niveau au cours de laquelle nous nous concentrerons sur la correction des faiblesses et l'amélioration du service", a déclaré lundi le PDG de Scatter Lab, Kim Jong-yun, dans un communiqué.
L'affaire Luda a suscité des débats sur la question de savoir si l'entreprise est responsable de ne pas avoir filtré à l'avance les remarques discriminatoires et incendiaires ou si les personnes qui en ont abusé devraient en assumer la responsabilité.
Lee Jae-woong, l'ancien PDG de l'application de covoiturage Socar, a déclaré que l'entreprise aurait dû prendre des mesures préventives contre les discours de haine avant d'introduire le service au public.
"Plutôt que les utilisateurs qui ont exploité le chatbot d'IA, la responsabilité incombe à l'entreprise qui a fourni un service ne répondant pas au consensus social", a écrit Lee sur sa page Facebook. "L'entreprise devrait compléter ses données de formation biaisées pour bloquer les messages haineux et discriminatoires."
Parallèlement à la controverse sur le chatbot, la société a également été critiquée pour avoir utilisé les informations personnelles de ses utilisateurs sans le consentement approprié et ne pas avoir fait suffisamment d'efforts pour les protéger.
Certains noms et banques revendiqués sont apparus dans des conversations avec Luda, suscitant des soupçons sur la fuite d'informations personnelles.
Certains utilisateurs de Science of Love ont déclaré qu'ils feraient pression pour un recours collectif contre l'entreprise pour avoir utilisé leurs données sensibles sans les avertir qu'elles seraient utilisées pour développer le chatbot IA féminin.
Un utilisateur furieux de l'application a publié mardi une pétition sur le site Web du bureau présidentiel Cheong Wa Dae, appelant Scatter Lab à supprimer toutes les données personnelles stockées dans son système et à mettre fin au service.
"Scatter Lab a utilisé les données des utilisateurs de l'application sans préavis ni consentement préalable pour les retirer de sa plate-forme pour démarrer son activité de chatbot IA et n'a pas correctement protégé les données personnelles", a écrit le pétitionnaire mardi.
En réponse aux plaintes croissantes, la Commission de protection des informations personnelles et la Korea Internet & Security Agency de Corée du Sud ont déclaré qu'elles enquêteraient pour savoir si Scatter Lab avait enfreint les lois sur la protection des informations personnelles.
La société s'est excusée à ce sujet, affirmant qu'elle avait tenté de respecter les directives sur l'utilisation des informations personnelles mais qu'elle n'avait pas "communiqué suffisamment" avec ses utilisateurs.
Scatter Lab a déclaré que ses développeurs avaient effacé les vrais noms avec ses algorithmes de filtrage, mais ne les avaient pas tous supprimés en fonction du contexte, affirmant que toutes les données utilisées dans la formation de Luda étaient invérifiables et qu'il avait supprimé des informations personnelles sensibles, notamment des noms, des numéros de téléphone et des adresses.
Les experts disent que la plate-forme d'IA de Scatter Lab présente des défis pour la protection des données personnelles, la clé du développement d'algorithmes d'apprentissage en profondeur.
"Scatter Lab a obtenu le consentement complet des utilisateurs pour utiliser les informations personnelles dans le marketing et la publicité et n'a pas obtenu le consentement pour l'utilisation des informations personnelles d'une tierce personne, ce qui pourrait constituer une atteinte à la vie privée", a déclaré Kim Borami, avocat au cabinet Dike Law basé à Séoul. Ferme, dit.
Certains responsables de l'industrie informatique ont exprimé des inquiétudes quant aux mesures potentielles visant à réglementer le développement de l'IA et la collecte de données, ce qui pourrait entraver les efforts d'innovation des développeurs en herbe.
Le PDG de Kakao Games, Namgung Hoon, a déclaré que Luda lui-même n'était pas coupable d'incarner les préjugés de la jeune génération et qu'il était l'un des nombreux personnages d'IA qui sortiront sur le marché à l'avenir."
"Je pense que la rare attention totale de la société sur l'IA doit être dirigée de manière positive", a écrit Hoon sur sa page Facebook. "Je crains que le gouvernement n'introduise des réglementations non pertinentes sur l'industrie naissante de l'IA pour verrouiller à nouveau les innovations."
Lee de Socar a déclaré qu'il espérait que le cas de Luda stimulerait le discours public pertinent pour proposer des mesures visant à empêcher les plateformes d'IA de propager les préjugés des humains et à améliorer la qualité des services d'IA.
"J'espère que (la controverse de Luda) pourra donner l'occasion à (l'entreprise) de tenir compte de sa responsabilité sociale et de son éthique lors de la fourniture de services d'IA et de réexaminer plusieurs problèmes", a déclaré Lee.