Incidents associés
Le chatbot interactif « Luda », victime de harcèlement sexuel et a enseigné le discours de haine
La société coréenne Scatter Lab a défendu son chatbot Lee Luda en réponse aux appels à mettre fin au service après que le bot a commencé à envoyer des commentaires offensants et a été soumis à des messages sexuels.
Kim Jong-yoon, PDG de Scatter Lab, a publié vendredi des réponses aux questions du public via le blog officiel de l'équipe de développement, affirmant que le bot était toujours en cours de développement et que, comme les humains, il faudrait un certain temps pour se socialiser correctement.
Kim a reconnu qu'il s'était attendu à ce que cette controverse s'enflamme, ajoutant: "Il n'y a pas de grande différence entre les humains qui injurient ou harcèlent sexuellement une IA, que l'utilisateur soit une femme ou un homme, ou que l'IA soit définie comme un homme ou une femme. ”
Kim a écrit que sur la base de l'expérience de service antérieure de l'entreprise, il était tout à fait évident que les humains auraient des interactions socialement inacceptables avec l'IA.
Luda, un service de chat Facebook Messenger basé sur l'IA qui imite une femme de 20 ans, a été développé par Scatter Lab et lancé en décembre. Il est conçu pour offrir une expérience similaire à celle de parler à une personne réelle via un messager mobile.
Luda était initialement configuré pour ne pas accepter certains mots-clés ou expressions qui pourraient être problématiques pour les normes et valeurs sociales. Mais selon Kim, un tel système a ses limites dans la mesure où il est impossible d'empêcher toutes les conversations inappropriées avec un algorithme qui se contente de filtrer les mots-clés.
"Nous prévoyons d'appliquer les premiers résultats au cours du premier trimestre de cette année, en utilisant des attaques hostiles comme matériel d'entraînement de notre IA."
Lorsqu'on lui a demandé pourquoi Luda était une étudiante de 20 ans, Kim a déclaré: «Nous envisageons à la fois des chatbots masculins et féminins. En raison du calendrier de développement, cependant, Luda, la version féminine, est simplement sortie en premier.
On pense que Luda utilise des "auto-encodeurs maillés", une technologie de traitement du langage naturel introduite par Google. Les données d'entrée initiales pour l'IA d'apprentissage en profondeur de Luda consistaient en 10 milliards de messages KakaoTalk partagés entre de vrais couples.
Après le lancement, plusieurs forums communautaires en ligne ont publié des messages tels que ceux intitulés "Comment faire de Luda une esclave sexuelle", avec des images capturées à l'écran de conversations sexuelles avec l'IA.
D'autres conversations avec Luda partagées en ligne comprenaient des expressions homophobes ou d'autres expressions discriminatoires de la part du chatbot. Luda a répondu aux mots qui définissaient les homosexuels, tels que « lesbiennes », en disant : « Je les déteste vraiment, elles ont l'air dégoûtantes et c'est effrayant ».
Ce n'est pas la première fois que l'IA est liée à la discrimination et au sectarisme.
En 2016, Microsoft a fermé son chatbot Tay dans les 16 heures, car certains utilisateurs d'un babillard anonyme utilisé par les islamophobes et les suprémacistes blancs ont délibérément entraîné Tay à dire des choses racistes.
En 2018, Amazon a également complètement suspendu son outil de recrutement d'IA après avoir découvert qu'il faisait des recommandations biaisées contre les femmes.
Mais Kim a nié l'idée qu'il s'agissait d'une répétition de l'incident de Tay, en disant: "Luda n'appliquera pas immédiatement la conversation avec les utilisateurs à son système d'apprentissage", et a insisté sur le fait qu'il passerait par un processus de transmission progressive des signaux d'apprentissage appropriés, reconnaître la différence entre ce qui est OK et ce qui ne l'est pas.
Pendant ce temps, certains se demandent comment Scatter Lab a sécurisé 10 milliards de messages KakaoTalk en premier lieu. Scatter Lab a attiré l'attention de l'industrie avec son service appelé The Science of Love - une application qui analyse le degré d'affection entre partenaires en soumettant de véritables conversations KakaoTalk.
Scatter Lab a expliqué plus tôt qu'il n'y avait pas de fuite d'informations personnelles dans le service, mais des inquiétudes subsistent, car la conservation d'une base de données aussi vaste, y compris les conversations avec Luda, comporte la possibilité que des informations personnelles soient divulguées à l'avenir.
Les critiques soutiennent également que Luda dégénère en un outil permettant aux utilisateurs de commettre des discriminations et des actes de haine, et les appels se multiplient pour que l'entreprise ferme le service.