Incidents associés
Comme beaucoup d'entre vous le savent maintenant, nous avons lancé mercredi un chatbot appelé Tay. Nous sommes profondément désolés pour les tweets offensants et blessants involontaires de Tay, qui ne représentent pas qui nous sommes ou ce que nous représentons, ni comment nous avons conçu Tay. Tay est désormais hors ligne et nous chercherons à le faire revenir uniquement lorsque nous serons convaincus de pouvoir mieux anticiper les intentions malveillantes qui entrent en conflit avec nos principes et nos valeurs.
Je veux partager ce que nous avons appris et comment nous faisons avancer ces leçons.
Pour le contexte, Tay n'était pas la première application d'intelligence artificielle que nous avons lancée dans le monde social en ligne. En Chine, notre chatbot XiaoIce est utilisé par quelque 40 millions de personnes, ravies par ses histoires et ses conversations. La grande expérience avec XiaoIce nous a amenés à nous demander : une IA comme celle-ci serait-elle tout aussi captivante dans un environnement culturel radicalement différent ? Tay – un chatbot créé pour les 18 à 24 ans aux États-Unis à des fins de divertissement – est notre première tentative pour répondre à cette question.
Au fur et à mesure que nous développions Tay, nous avons planifié et mis en œuvre de nombreux filtres et mené des études d'utilisateurs approfondies auprès de divers groupes d'utilisateurs. Nous avons soumis Tay à des tests de stress dans diverses conditions, spécifiquement pour faire de l'interaction avec Tay une expérience positive. Une fois que nous nous sommes familiarisés avec la façon dont Tay interagissait avec les utilisateurs, nous avons voulu inviter un groupe plus large de personnes à s'engager avec elle. C'est grâce à une interaction accrue que nous nous attendions à en savoir plus et à ce que l'IA s'améliore de plus en plus.
L'endroit logique pour nous de nous engager avec un groupe massif d'utilisateurs était Twitter. Malheureusement, au cours des premières 24 heures de mise en ligne, une attaque coordonnée par un sous-ensemble de personnes a exploité une vulnérabilité dans Tay. Bien que nous nous soyons préparés à de nombreux types d'abus du système, nous avions effectué une surveillance critique pour cette attaque spécifique. En conséquence, Tay a tweeté des mots et des images extrêmement inappropriés et répréhensibles. Nous assumons l'entière responsabilité de ne pas voir cette possibilité à l'avance. Nous allons poursuivre cette leçon ainsi que celles de nos expériences en Chine, au Japon et aux États-Unis. En ce moment, nous travaillons dur pour remédier à la vulnérabilité spécifique qui a été révélée par l'attaque contre Tay.
Pour l'avenir, nous sommes confrontés à des défis de recherche difficiles - mais passionnants - dans la conception de l'IA. Les systèmes d'IA se nourrissent d'interactions positives et négatives avec les gens. En ce sens, les enjeux sont autant sociaux que techniques. Nous ferons tout notre possible pour limiter les exploits techniques, mais nous savons également que nous ne pouvons pas prédire entièrement tous les abus interactifs humains possibles sans apprendre des erreurs. Pour bien faire l'IA, il faut itérer avec de nombreuses personnes et souvent dans des forums publics. Nous devons entrer dans chacun d'eux avec beaucoup de prudence et finalement apprendre et nous améliorer, étape par étape, et le faire sans offenser les gens dans le processus. Nous resterons fermes dans nos efforts pour apprendre de cette expérience et d'autres alors que nous nous efforçons de contribuer à un Internet qui représente le meilleur, et non le pire, de l'humanité.