Incidents associés
La nouvelle de loin la plus divertissante sur l'IA de la semaine dernière a été la montée et la chute rapide du chatbot Twitter de Microsoft, imitant les adolescentes, Tay, dont le slogan Twitter la décrivait comme "la fam de l'IA de Microsoft* sur Internet qui n'a aucun froid".
(* Au fait, je suis officiellement vieux - j'ai dû consulter Urban Dictionary pour confirmer que je comprenais correctement ce que signifiaient «fam» et «zéro chill». «Fam» signifie «quelqu'un que vous considérez comme un membre de la famille» et «no chill» signifie "être particulièrement imprudent", au cas où vous vous poseriez la question.)
Le reste du slogan déclarait: "Plus vous parlez, plus Tay devient intelligent."
Ou non. Dans les 24 heures suivant sa mise en ligne, Tay a commencé à dire des trucs bizarres. Et puis des trucs offensants. Et puis des trucs vraiment offensants. Comme traiter Zoe Quinn de "pute stupide". Et dire que l'Holocauste était "inventé". Et dire que les Noirs (elle a utilisé un terme beaucoup plus offensant) devraient être mis dans des camps de concentration. Et qu'elle soutient un génocide mexicain. La liste continue.
Alors, qu'est-ce-qu'il s'est passé? Comment un chatbot pourrait-il devenir Goebbels complet en un jour après avoir été activé ? Fondamentalement, Tay a été conçue pour développer ses compétences conversationnelles en utilisant l'apprentissage automatique, notamment en analysant et en incorporant le langage des tweets qui lui sont envoyés par les utilisateurs humains des médias sociaux. Ce que Microsoft n'avait apparemment pas prévu, c'est que les trolls de Twitter essaieraient intentionnellement de faire dire à Tay des choses offensantes ou autrement inappropriées. Au début, Tay a simplement répété les choses inappropriées que les trolls lui ont dites. Mais avant trop longtemps, Tay avait "appris" à dire des choses inappropriées sans qu'un humain ne la pousse à le faire. C'était presque inévitable étant donné que, comme le suggère le slogan de Tay, Microsoft l'a conçue pour qu'elle n'ait pas froid aux yeux.
Maintenant, quiconque connaît le cybermonde des médias sociaux ne devrait pas être surpris que cela se soit produit - bien sûr, un chatbot conçu avec "zéro froid" apprendrait à être raciste et inapproprié parce que le Twitterverse est rempli de personnes qui disent des choses racistes et inappropriées. Mais de manière fascinante, les médias se sont massivement concentrés sur les personnes qui ont interagi avec Tay plutôt que sur les personnes qui ont conçu Tay lorsqu'ils ont examiné pourquoi la dégradation de Tay s'est produite.
Voici un petit échantillon des gros titres des médias sur Tay :
Et mes favoris personnels, gracieuseté de CNET et Wired :
Maintenant accordé, la plupart des histoires ci-dessus indiquent ou impliquent que Microsoft aurait dû réaliser que cela se produirait et aurait pu prendre des mesures pour empêcher Tay d'apprendre à dire des choses offensantes. (Exemple : l'Atlanta Journal-Constitution a noté que « aussi surprenant que cela puisse paraître, l'entreprise n'a pas eu la prévoyance d'empêcher Tay d'apprendre des réponses inappropriées ». Mais néanmoins, une quantité surprenante de commentaires médiatiques donne l'impression que Microsoft a donné au monde un petit chatbot mignon et innocent que Twitter a transformé en membre en herbe de la jeunesse hitlérienne. Il semble que lorsque les IA apprennent des trolls qu'elles sont mauvaises, les gens ont au moins une certaine tendance à blâmer les trolls pour la pêche à la traîne plutôt que les concepteurs pour ne pas avoir rendu l'IA à l'épreuve des trolls.
Maintenant, dans le cas de Tay, la question de "qui est à blâmer" n'a probablement pas beaucoup d'importance d'un point de vue juridique. Je doute fortement que Zoe Quinn et Ricky Gervais (qui, selon Tay, "ont appris le totalitarisme d'Adolf Hitler, l'inventeur de l'athéisme") intenteront des poursuites en diffamation basées sur des tweets envoyés par un chatbot pseudo-adolescent. Mais que se passera-t-il lorsque les systèmes d'IA qui ont des fonctions plus importantes que l'envoi de tweets juvéniles « apprendront » à faire du mal aux humains qu'ils rencontrent ? Les gens seront-ils toujours enclins à rejeter la plus grande partie du blâme sur les personnes qui ont « appris » à l'IA à faire de mauvaises choses plutôt que sur les concepteurs de l'IA ?
Je n'ai pas nécessairement de problème à être indulgent envers les concepteurs de systèmes d'IA d'apprentissage. Il serait exceptionnellement difficile de préprogrammer un système d'IA avec toutes les différentes règles de politesse et de bienséance de la société humaine, d'autant plus que ces règles sont très situationnelles, varient considérablement d'une culture humaine à l'autre et peuvent changer avec le temps. De plus, la capacité sans cesse améliorée des systèmes d'IA à «apprendre» est la principale raison pour laquelle ils sont si prometteurs en tant que technologie émergente. Restreindre les capacités d'apprentissage d'un système d'IA pour l'empêcher d'apprendre de mauvaises choses pourrait également l'empêcher d'apprendre de bonnes choses. Enfin, des étiquettes d'avertissement ou d'autres mesures de protection dirigées par l'homme destinées à dissuader les humains d'"enseigner" au système d'IA de mauvaises choses n'empêcheraient pas les personnes qui travaillent intentionnellement ou imprudemment pour corrompre le système d'IA ; il y a fort à parier qu'un avertissement "veuillez ne pas envoyer de tweets racistes à Tay" n'aurait pas dissuadé ses trolls Twitter.
Mais il y a plusieurs problèmes à rejeter le blâme principalement sur les sources d'information post-conception d'un système d'IA d'apprentissage. Premièrement, il n'est pas toujours facile de déterminer où un système d'IA a appris quelque chose. L'IA pourrait analyser et incorporer plus de données qu'aucun humain ne pourrait jamais espérer passer au crible ; Tay a réussi à envoyer près de 100,00