Incidents associés
Imitant les humains, le chatbot coréen Luda s'est révélé raciste et homophobe.
Un chatbot basé sur les réseaux sociaux développé par une startup sud-coréenne a été fermé mardi après que des utilisateurs se sont plaints qu'il crachait des vulgarités et des discours de haine.
Le sort du service coréen a ressemblé à la disparition du chatbot Tay de Microsoft en 2016 à cause des tweets racistes et sexistes qu'il a envoyés, soulevant des questions éthiques sur l'utilisation de la technologie de l'intelligence artificielle (IA) et sur la manière de prévenir les abus.
La startup coréenne Scatter Lab a annoncé lundi qu'elle suspendrait temporairement le chatbot IA. Il s'est excusé pour les remarques discriminatoires et haineuses qu'il a envoyées et un "manque de communication" sur la façon dont l'entreprise a utilisé les données des clients pour entraîner le bot à parler comme un humain.
La startup a conçu Lee Luda, le nom du chatbot, pour être une étudiante universitaire de 20 ans, fan du groupe de filles K-pop Blackpink.
Lancé fin décembre en grande pompe, le service a appris à parler en analysant d'anciens enregistrements de chat acquis par l'autre service d'application mobile de l'entreprise appelé Science of Love.
Ignorant que leurs informations ont été transmises au bot, certains utilisateurs ont prévu de déposer un recours collectif contre l'entreprise.
Avant la suspension du bot, les utilisateurs ont déclaré avoir reçu des réponses haineuses lorsqu'ils interagissaient avec Luda. Michael Lee, critique d'art sud-coréen et ancien militant LGBTQ, a partagé des captures d'écran montrant que Luda a dit "dégoûtant" en réponse à une question sur les lesbiennes.
Un autre utilisateur, Lee Kwang-suk, professeur de politique publique et de technologie de l'information à l'Université nationale des sciences et technologies de Séoul, a partagé des captures d'écran d'un chat où Luda a appelé "les Noirs" heukhyeong, ce qui signifie "frère noir", une insulte raciale dans Corée du Sud. Il a également été montré que le bot disait : « Beurk, je les déteste vraiment », en réponse à une question sur les personnes transgenres. Le bot a terminé le message avec une émoticône en pleurs.
Dans la déclaration de lundi, Scatter Lab s'est défendu et a déclaré qu'il "n'était pas d'accord avec les commentaires discriminatoires de Luda, et ces commentaires ne reflètent pas les idées de l'entreprise".
"Luda est une IA enfantine qui vient de commencer à parler avec les gens. Il reste encore beaucoup à apprendre. Luda apprendra à juger quelle est une réponse appropriée et meilleure », a déclaré la société.
Mais de nombreux utilisateurs ont carrément blâmé l'entreprise.
Lee, le professeur d'informatique, a déclaré à VICE World News que l'entreprise était responsable de l'abus, comparant l'affaire à la fermeture par Microsoft de son chatbot Tay.
Un autre utilisateur, Lee Youn-seok, qui a participé à un test bêta de Luda en juillet avant son lancement officiel, a déclaré à VICE World News que le résultat était « prévisible ».
Certaines personnes ont déclaré que la débâcle n'était pas surprenante compte tenu de la sex-ratio des employés de l'entreprise. Une page sur le site Web de l'entreprise suggérait qu'environ 90% du groupe derrière le bot étaient des hommes. La page a ensuite été supprimée.
Certaines communautés en ligne à prédominance masculine ont également discuté ouvertement de la manière d'"asservir" le robot IA et ont partagé leurs méthodes pour le "harceler" sexuellement, dans l'espoir de susciter des commentaires sexuels de la part de Luda.
Certains politiciens et défenseurs des droits ont profité de l'occasion pour réclamer un projet de loi anti-discrimination, qui vise à interdire toute discrimination fondée sur le sexe, le handicap, l'âge, la langue, le pays d'origine et l'orientation sexuelle.
Le projet de loi anti-discrimination pourrait être utilisé pour tenir les développeurs de logiciels d'IA responsables de tels abus, a déclaré Ahn Byong-jin, professeur à l'université Kyunghee de Séoul, à VICE World News. "Les entreprises devraient consulter un philosophe ou un éthicien avant de lancer un service pour prévenir de tels abus", a-t-il déclaré.