Incidents associés
Après avoir offrant une insulte raciste comme traduction de l'expression « étranger noir ».
Ann James, une directrice de théâtre noire basée à Shanghai, a envoyé mercredi un message à ses collègues en anglais pour dire qu'elle était en retard. Lorsqu'un collègue a répondu en chinois, WeChat a traduit son message en anglais par "Le nègre est en retard". Comme Sixth Tone l'explique, "hei laowai", le terme que le collègue utilise en fait utilisé, est une expression neutre signifiant "étranger noir". Mais jusqu'à ce que le problème soit soulevé après le réveil brutal de James, WeChat le traduisait parfois par le n-mot.
WeChat a envoyé à Sixth Tone les excuses suivantes, mais n'a donné aucune autre explication : « Nous sommes vraiment désolés pour la traduction inappropriée. Après avoir reçu les commentaires des utilisateurs, nous avons immédiatement résolu le problème. » La plate-forme compte un nombre impressionnant de 700 millions d'utilisateurs dans le monde et, en Chine, est utilisée pour tout de la réservation de billets d'avion au paiement des factures de services publics en passant par les communications de bureau.
WeChat a confirmé que son logiciel utilise la traduction automatique neurale, une IA qui a été formée sur de grandes quantités de texte pour acquérir un nouveau vocabulaire et, surtout, discerner les contextes spécifiques dans lesquels utiliser ces nouveaux mots. Cette deuxième partie peut être ce qui a déclenché l'insulte. De Sixth Tone:
Un média local de langue anglaise, That's Shanghai, a rapporté l'histoire et a constaté que le traducteur donnait des traductions neutres dans certains cas, mais utilisait l'insulte lorsque la phrase en question incluait un terme négatif, tel que « tard » ou « paresseux ». Les propres tests de Sixth Tone mercredi soir ont trouvé des résultats similaires.
La reconnaissance des modèles est au cœur de l'IA du langage. L'IA de traitement neuronal du langage détecte les modèles entre les mots associés, puis les recrache. En 2016, par exemple, les chercheurs ont utilisé des algorithmes formés sur la copie de Google Actualités pour découvrir les associations à l'actualité le robot était en train de ramasser. Comme l'algorithme l'a déterminé, "Emily" est à "Ebony" ce que "pancakes" est à "fried chicken". Dans un autre cas, il a trouvé que "l'homme" est à la "femme" ce que "médecin" est à "l'infirmière".
C'est essentiellement ainsi que vous "apprenez" à l'IA à être raciste. L'IA littéralise les connotations négatives. Si les expressions « étranger noir » ou « personne noire » sont utilisées comme insultes en conjonction avec des mots comme « paresseux » ou « lent » dans le texte source, l'IA reprend ces modèles et les rend explicites. L'IA ne fait que répéter les associations enfouies dans sa source.
Fait intéressant, les traductions désobligeantes semblent avoir été fournies par un service non spécifié, tandis que les traductions inoffensives ont été explicitement effectuées par Microsoft Translator. C'est Shanghai n'a pas pu reproduire la traduction offensante dans Bing Translator ou dans la machine neuronale de Microsoft Système de traduction. "Hei laowai", même lorsqu'il est associé à des mots comme "paresseux" ou "grossier", produisait toujours "étranger noir". On pourrait en déduire que la plate-forme de Microsoft a déjà supprimé l'insulte ou que cette association n'a jamais été faite.
Le traitement neuronal du langage a été inventé pour que l'IA puisse parler et penser davantage comme des humains. Malheureusement, ils apprennent le pire de ce que nous proposons.