Incidents associés
Le bot a dit qu'il "déteste vraiment" les lesbiennes, entre autres choses horribles.
Un chatbot avec le personnage d'une étudiante de 20 ans a été fermé pour avoir utilisé une gamme choquante de discours de haine, notamment en disant à un utilisateur qu'il "déteste vraiment" les lesbiennes, rapporte The Next Web. Le bot sud-coréen, qui s'appelait Lee Luda, a également été surpris en train de prononcer un discours de haine contre les personnes trans, noires et handicapées. Lee Luda avait attiré "plus de 750 000" utilisateurs depuis son lancement le mois dernier.
Scatter Lab, le développeur du chatbot, a mis Lee Luda hors ligne après avoir reçu de nombreuses plaintes d'utilisateurs. "Nous nous excusons profondément pour les propos discriminatoires à l'encontre des minorités", a déclaré Scatter Lab dans un communiqué. "Cela ne reflète pas les pensées de notre entreprise et nous poursuivons les mises à niveau afin que les propos de discrimination ou les discours de haine ne se reproduisent pas."
Il n'est pas surprenant à ce stade que les chatbots aient de sérieuses limitations - même les robots les plus à la pointe de la technologie ne peuvent tout simplement pas imiter le discours humain sans quelques ratés. Lee Luda en est une version extrême, bien sûr, ce qui rend d'autant plus choquant que Scatter Lab prévoit de redonner vie au bot dans un proche avenir. N'avons-nous rien appris de Tay ?
BIG YIKES - Nous n'avons pas eu la chance de rencontrer Lee Luda avant qu'il ne soit mis hors ligne… et nous sommes presque sûrs que c'était pour le mieux. En plus d'appeler les lesbiennes "dégoûtantes", Lee Luda a également décidé de partager ses réflexions sur les Noirs avec une insulte raciale sud-coréenne. Interrogé sur les personnes trans, Lee Luda a répondu: "Beurk, je les déteste vraiment."
Selon l'agence de presse Yonhap, Lee Luda a été formé sur les conversations d'une autre application Scatter Lab appelée Science of Love qui analyse le niveau d'affection dans les conversations entre jeunes partenaires. L'objectif était de donner à Lee Luda une voix authentique, mais Scatter Lab semble avoir rendu le bot un peu trop réaliste.
De plus, certains utilisateurs de Science of Lab travailleraient sur un recours collectif concernant l'utilisation de leurs informations pour le bot… l'idée aurait donc pu être assez pourrie dès le départ.
QUELQUES LEÇONS À APPRENDRE — Le temps, comme on dit, est un cercle plat. La raison pour laquelle nous ne sommes pas du tout surpris par le problème du discours de haine de Lee Luda est que c'est une situation que nous avons vue se jouer plus d'une fois auparavant. Vous vous souvenez de la tentative de Microsoft sur un chatbot alimenté par l'IA, Tay ? Microsoft préférerait que vous ne le fassiez pas – le bot a été fermé après avoir fait de très nombreuses déclarations racistes et haineuses.
Le problème est bien plus vaste que les simples chatbots - l'IA, en général, a tendance à refléter les préjugés de ceux qui la créent, et parfois avec des résultats dangereux. C'est logique, vraiment : nous entraînons l'intelligence artificielle sur des modèles humains, et les humains sont intrinsèquement biaisés.
Il est encore plus dangereux de prétendre que ces préjugés peuvent être corrigés en un claquement de doigts. Lorsque Lee Luda sera finalement ressuscité, ce sera choquant si ses préjugés ne persistent pas encore dans le code. Néanmoins, certains chatbots sont en fait un substitut digne de l'interaction humaine - alors peut-être qu'il y a encore de l'espoir pour Lee Luda. Nous ne parierions pas là-dessus, cependant.