Incidents associés
Tay de Microsoft est un exemple de mauvaise conception
ou Pourquoi le design d'interaction est important, tout comme le QA-ing.
caroline sinders Bloqué Débloquer Suivre Suivi 24 mars 2016
Hier, Microsoft a lancé une IA pour adolescentes sur Twitter nommée "Tay". Je travaille avec des robots de discussion et le traitement du langage naturel en tant que chercheur pour mon travail de jour et je suis assez dans la culture des adolescents (parfois j'écris pour Rookie Mag). Mais plus encore, j'adore les bots. Les robots sont les meilleurs, et Olivia Tators est un trésor national dont nous avions besoin mais que nous ne méritions pas.
Mais parce que je travaille avec des bots, testant et concevant principalement des logiciels pour permettre aux gens de configurer des bots et d'analyser le langage, et que je suis des créateurs/avocats de bots tels qu'Allison Parrish, Darius Kazemi et Thrice Dotted, j'étais excité puis horriblement déçu par Tay.
Selon Business Insider, "L'objectif était" d'expérimenter et de mener des recherches sur la compréhension conversationnelle ", Tay étant capable d'apprendre de" ses "conversations et de devenir progressivement" plus intelligente "". Tay demande également à ses abonnés de la "baiser" et les appelle "papa". C'est parce que ses réponses sont apprises par les conversations qu'elle a avec de vrais humains en ligne - et les vrais humains aiment dire des trucs bizarres en ligne et aiment détourner les tentatives de relations publiques des entreprises… "
Voici la chose à propos de l'apprentissage automatique, et des bots en général, et de l'enfer, même de l'IA. Ces capacités ne sont pas très intelligentes et doivent être entraînées par un corpus de données. Lorsque ces données sont introduites dans une série de différents types d'algorithmes d'apprentissage automatique, allons-y avec un spécifiquement conçu pour le chat, cet algorithme ou cette configuration de chat doit être formé. Le corpus de données, lorsqu'il s'agit de robots de chat, peut être constitué de questions et de réponses, ces questions et réponses étant directement mappées les unes aux autres. "Quel est votre nom" peut être demandé de mille façons différentes, mais il y a une ou deux réponses applicables. La formation du système pour faire correspondre ces deux réponses concrètes à une variété de questions est effectuée dans Q&A, et renforcée par le lancement du système, et ces réponses seront mappées à de nouveaux types de questions qui sont similaires aux questions auxquelles il a été formé pour répondre. Et c'est ce que Microsoft semblait faire. Ils disposaient d'un ensemble général d'arbres de connaissances qui «lisaient» le langage, comme différents mots, et les mappaient à des réponses générales. Mais leur intention était d'obtenir de l'aide pour faire sonner Tay plus "comme Internet".
Cependant, Microsoft n'a pas «listé noir» certains mots, ce qui signifie créer beaucoup plus de réponses «codées en dur» à certains mots, comme la violence domestique, le gamergate ou le viol.
Ils l'ont cependant fait avec Eric Garner. Donc, certains mots, certains mots clés, ont été spécifiquement entraînés pour des réponses nuancées, mais beaucoup où non.
Mais qu'est-ce que cela signifie quand il s'agit de formation? La formation d'un bot concerne donc la fréquence et le type de questions posées. Si un grand nombre de questions posées sont de nature plus raciste, cela entraîne le bot à être plus raciste, surtout s'il n'y a pas eu de paramètres spécifiques définis pour contrer ce racisme.
Les gens aiment botter les pneus des machines et de l'IA, et voir où se situe la chute. Les gens aiment trouver des trous et les exploiter, non pas parce qu'Internet est incroyablement horrible (même si parfois cela ressemble à un cloaque); mais parce que c'est dans la nature humaine d'essayer de voir quels sont les extrêmes d'un appareil. Les gens se heurtent à des murs dans les jeux vidéo ou trouvent des problèmes parce que c'est amusant de voir où les choses se cassent. Cela est nécessaire car les créateurs et les ingénieurs doivent comprendre comment les bots peuvent agir de manière non intentionnelle et où les systèmes de création, de mise à jour et de maintenance peuvent s'effondrer.
Mais si votre bot est raciste et qu'on peut lui apprendre à être raciste, c'est un défaut de conception. C'est une mauvaise conception, et c'est sur vous. Faire quelque chose qui parle aux gens, et qui ne parle qu'aux gens sur Twitter, qui a toute une histoire de harcèlement, en particulier contre les femmes, est un grand oubli de la part de Microsoft. Ces problèmes - ce racisme accidentel, ou apprendre à harceler des gens comme Zoe Quinn - ce ne sont pas des bugs ; ce sont des fonctionnalités car elles se trouvent dans votre logiciel public et interagissant avec l'utilisateur.
La langue est putain de nuancée, tout comme la conversation. Si nous voulons faire des choses que les gens utilisent, touchent et parlent réellement, alors nous devons, en tant que créateurs de robots et passionnés d'IA, parler des codes de conduite et de la façon dont les IA devraient répondre au racisme, surtout si les entreprises déploient ces produits, et surtout s'ils le font pour des funs. Les conversations couvrent toute la gamme des émotions, des idiotes et banales aux harcelantes et abusives. Supposer que vos utilisateurs ne s'engageront que dans une conversation polie est un putain d'oubli massif et grossier, en particulier sur Twitter. Mais mélanger la capacité grâce à l'apprentissage automatique où le bot est formé et recyclé ? Ensuite, j'ai d'énormes questions éthiques sur les choix de conception WTF que vous faites. Microsoft, vous devez à vos utilisateurs de réfléchir à la manière dont vos mécanismes d'apprentissage automatique