Problème 2301

Lorsque l'enseignante Angela Dancey veut déchiffrer si ses étudiants anglais de première année comprennent ce qu'elle essaie de faire passer en classe, leurs expressions faciales et leur langage corporel ne révèlent pas grand-chose.

"Même dans un cours en personne, les étudiants peuvent être difficiles à lire. En règle générale, les étudiants de premier cycle ne communiquent pas beaucoup par leur visage, en particulier un manque de compréhension", a déclaré Dancey, maître de conférences à l'Université de l'Illinois à Chicago.

Dancey utilise des méthodes éprouvées telles que demander aux étudiants d'identifier leur "point le plus confus" - un concept ou une idée avec laquelle elle a dit que les étudiants ont encore du mal - après une conférence ou une discussion. "Je leur demande de l'écrire, de la partager et nous l'abordons en classe pour le bénéfice de tous", a-t-elle déclaré.

Mais Intel et Classroom Technologies, qui vendent un logiciel d'école virtuelle appelé Class, pensent qu'il pourrait y avoir une meilleure solution. Les entreprises se sont associées pour intégrer une technologie basée sur l'IA développée par Intel avec Class, qui s'exécute au-dessus de Zoom. Intel affirme que son système peut détecter si les étudiants s'ennuient, sont distraits ou confus en évaluant leurs expressions faciales et comment ils interagissent avec le contenu éducatif.

«Nous pouvons donner à l'enseignant des informations supplémentaires pour lui permettre de mieux communiquer», a déclaré Michael Chasen, co-fondateur et PDG de Classroom Technologies, qui a déclaré que les enseignants avaient eu du mal à interagir avec les élèves dans des environnements de classe virtuelle tout au long de la pandémie.

Son entreprise prévoit de tester la technologie d'analyse de l'engagement des étudiants d'Intel, qui capture des images des visages des étudiants avec une caméra d'ordinateur et une technologie de vision par ordinateur et les combine avec des informations contextuelles sur ce sur quoi un étudiant travaille à ce moment-là pour évaluer l'état de compréhension d'un étudiant. Le partenariat d'Intel avec Class est une entreprise de recherche de preuve de concept, a déclaré Sinem Aslan, chercheur chez Intel, qui a aidé à développer la technologie.

"Nous essayons de permettre un tutorat individuel à grande échelle", a déclaré Aslan, ajoutant que le système est destiné à aider les enseignants à reconnaître quand les élèves ont besoin d'aide et à informer comment ils pourraient modifier le matériel pédagogique en fonction de la façon dont les élèves interagissent avec le système éducatif. contenu. "Des niveaux élevés d'ennui conduiront [les étudiants à] complètement sortir du contenu éducatif", a déclaré Aslan.

Mais les critiques soutiennent qu'il n'est pas possible de déterminer avec précision si quelqu'un se sent ennuyé, confus, heureux ou triste en fonction de ses expressions faciales ou d'autres signaux externes.

Certains chercheurs ont découvert que parce que les gens s'expriment à travers des dizaines ou des centaines d'expressions faciales subtiles et complexes, de gestes corporels ou de signaux physiologiques, catégoriser leur état avec une [étiquette unique est une approche mal adaptée](https://ibug.doc. ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf). D'autres recherches indiquent que les gens communiquent des émotions telles que la colère, la peur et la surprise d'une manière qui varie selon les cultures et les situations, et la façon dont ils expriment leurs émotions peut fluctuer selon un niveau individuel.

"Les étudiants ont différentes façons de présenter ce qui se passe en eux", a déclaré Todd Richmond, éducateur de longue date et directeur du Tech and Narrative Lab et professeur à la Pardee RAND Graduate School. "Cet étudiant distrait à ce moment-là peut être l'état approprié et nécessaire pour lui à ce moment de sa vie", a-t-il déclaré, s'il s'agit de problèmes personnels, par exemple.

L'émotion controversée de l'IA s'infiltre dans la technologie de tous les jours

La salle de classe n'est qu'une des arènes où l'« IA émotionnelle » controversée se retrouve dans les produits technologiques de tous les jours et suscite l'intérêt des investisseurs. Cela s'infiltre également dans la livraison et [les véhicules de tourisme](https://www.protocol.com/enterprise/driver- monitoring-ai-infrastructure-bill) et ventes virtuelles et logiciel de service client. Après le rapport de Protocol la semaine dernière sur l'utilisation de cette technologie lors des appels commerciaux, Fight for the Future a lancé une campagne exhortant Zoom à ne pas d'adopter la technologie dans son logiciel de visioconférence quasi omniprésent.

À ce stade précoce, on ne sait pas comment la technologie d'Intel sera intégrée au logiciel Class, a déclaré Chasen, qui a déclaré qu'il s'attend à ce que la société s'associe à l'un des collèges avec lesquels elle travaille déjà pour évaluer le système Intel. Chasen a déclaré à Protocol que Classroom Technologies ne payait pas Intel pour tester la technologie. La classe est soutenue par des investisseurs, dont le quart-arrière de la NFL Tom Brady, le co-fondateur d'AOL Steve Case et Salesforce Ventures.

Intel a établi des partenariats pour aider à distribuer d'autres formes naissantes d'IA qu'il a créées. Par exemple, dans l'espoir de produire un système qui transforme les données de visualisation des articulations et les mouvements du squelette en analyses pour surveiller et améliorer les performances sportives performance, la société s'est associée à l'Université Purdue et à l'application de dépistage de football AiScout.

Éducateurs et des groupes de défense ont soulevé alarmes concernant la surveillance excessive des élèves et les atteintes à la vie privée associées à [la reconnaissance faciale déployée dans les écoles] (https://buffalonews.com/news/local/education/state-launches-audit-of-lockport-schools-after-parent-complaint- over-security-system/article_41bc1644-7c2f-11eb-9ace-032b9e4a317f.html) à des fins d'identification et de sécurité. Ces préoccupations se sont accélérées car les logiciels basés sur l'IA ont été utilisés plus souvent que jamais pendant la pandémie, y compris les technologies qui surveillent le comportement des élèves dans l'espoir d'empêcher [la triche pendant les tests virtuels](https://www.eff.org/deeplinks/ 2021/06/long-overdue-reckoning-online-proctoring-companies-may-finally-be-here) et des systèmes qui suivent le contenu que les élèves voient sur leur ordinateur portable dans le but de détecter s'ils risquent de s'automutiler .

La classe suit déjà la fréquence à laquelle les élèves lèvent la main pendant une session et propose une fonction de "vue surveillante" qui permet aux enseignants de surveiller ce que les élèves regardent sur leur ordinateur si les élèves acceptent de partager leur écran de bureau avec les instructeurs.

"Je pense que nous devons être très sensibles aux droits personnels des personnes et ne pas être trop intrusifs avec ces systèmes", a déclaré Chasen.

Les caméras en tant que problème de justice sociale

Alors que la classe virtuelle est devenue la norme au cours des deux dernières années, un débat a émergé parmi les éducateurs sur l'opportunité d'exiger ou non que les élèves allument leur caméra pendant les cours. Aujourd'hui, dans le programme d'anglais de Dancey, les caméras sont facultatives, en partie parce que dans les environnements virtuels, les étudiants peuvent communiquer avec les instructeurs via leurs microphones ou via le chat.

Mais pour capturer les expressions faciales des étudiants, la technologie d'Intel aurait besoin que ces caméras soient allumées.

"Le fait d'allumer les caméras, c'est devenu presque comme un problème de justice sociale", a déclaré Dancey. Non seulement certains étudiants craignent que d'autres ne voient où ou comment ils vivent, mais l'activation des caméras consomme de l'énergie, ce qui peut être un problème pour les étudiants utilisant un point d'accès mobile pour se connecter en classe, a-t-elle déclaré.

"C'est une sorte d'invasion de la vie privée, et il y a des problèmes d'accessibilité, car avoir votre caméra allumée utilise une énorme quantité de bande passante. Cela pourrait littéralement leur coûter de l'argent pour le faire », a déclaré Dancey.

Nous ne voulons pas que cette technologie soit un système de surveillance.

"Les étudiants ne devraient pas avoir à contrôler leur apparence en classe", a déclaré Nandita Sampath, analyste des politiques chez Consumer Reports, spécialisée dans les biais algorithmiques et les problèmes de responsabilité, qui a déclaré qu'elle se demandait si les étudiants auraient la possibilité de contester des résultats inexacts si Intel système entraîne des conséquences négatives. "Quels états cognitifs et émotionnels ces entreprises prétendent-elles être capables d'évaluer ou de prédire, et quelle est la responsabilité ?" dit-elle.

Aslan a déclaré que l'objectif de la technologie d'Intel n'est pas de surveiller ou de pénaliser les étudiants, mais plutôt de coacher les enseignants et de fournir des informations supplémentaires afin qu'ils puissent mieux comprendre quand les étudiants ont besoin d'aide. « Nous n'avons pas lancé cette technologie comme un système de surveillance. En fait, nous ne voulons pas que cette technologie soit un système de surveillance », a déclaré Aslan.

Sampath a déclaré que la technologie d'Intel pourrait être utilisée pour juger ou pénaliser les étudiants même si ce n'est pas l'intention. "Peut-être qu'ils n'ont peut-être pas l'intention que ce soit le décideur ultime, mais cela ne signifie pas que l'enseignant ou l'administrateur ne peut pas l'utiliser de cette façon", a-t-elle déclaré.

Dancey a déclaré que les enseignants craignaient également que la surveillance ne soit utilisée contre eux. "Souvent, la surveillance est utilisée contre les instructeurs de manière vraiment injuste", a-t-elle déclaré. «Je ne pense pas que ce serait paranoïaque de dire, surtout si cela va mesurer «l'engagement des étudiants» – TM, entre guillemets – que si je monte pour une promotion ou un poste, cela fera-t-il partie de mon évaluation? Pourraient-ils dire : ‘Un tel avait un quotient de compréhension bas ?’ »

Lorsqu'Intel a testé le système dans une salle de classe physique, certains enseignants qui ont participé à l'étude ont suggéré qu'il fournissait des informations utiles. "J'ai pu voir comment je pouvais relever certains défis émotionnels des élèves que je n'aurais pas pu anticiper [avant]", a déclaré un enseignant, selon un document fourni par Intel.

Mais si certains enseignants l'ont peut-être trouvé utile, Dancey a déclaré qu'elle ne voudrait pas utiliser le système Intel. « Je pense que la plupart des enseignants, en particulier au niveau universitaire, trouveraient cette technologie moralement répréhensible, comme le panopticon. Franchement, si mon institution me l'offrait, je la refuserais, et si nous devions l'utiliser, je réfléchirais à deux fois avant de continuer à travailler ici », a-t-elle déclaré.

Préparation des données d'IA par des psychologues

Quatre jours après la publication de cette histoire, Intel a déclaré vouloir faire une déclaration supplémentaire sur son travail sur l'IA émotionnelle et son partenariat avec Classroom Technologies.

"Le partenariat d'Intel pour tester la technologie dans le logiciel Class à ce stade est une preuve de concept de recherche. Nous n'avons aucun plan à court terme pour produire la technologie et collaborons actuellement avec Class pour mener des recherches supplémentaires afin d'identifier tout défi socio-technique ou résultats pour affiner et itérer sur cette preuve de concept », a déclaré Mindy Nelson, un représentant d'Intel, dans un e-mail.

À ce stade précoce, Intel vise à trouver les meilleurs moyens de mettre en œuvre la technologie afin qu'elle soit la plus utile pour les enseignants, a déclaré Aslan : "Comment pouvons-nous la faire de manière à ce qu'elle soit alignée sur ce que l'enseignant fait au quotidien ? ”

Je pense que la plupart des enseignants, surtout au niveau universitaire, trouveraient cette technologie moralement répréhensible.

Intel a développé son système d'analyse adaptative de l'apprentissage en incorporant les données recueillies auprès des étudiants lors de séances de classe réelles à l'aide d'ordinateurs portables équipés de caméras 3D. Pour étiqueter les données de vérité terrain utilisées pour former ses modèles algorithmiques, les chercheurs ont embauché des psychologues qui ont visionné des vidéos des étudiants et classé les émotions qu'ils ont détectées dans leurs expressions.

« Nous ne voulons pas partir d'hypothèses. C'est pourquoi nous avons engagé des experts en la matière pour étiqueter les données », a déclaré Nese Alyuz Civitci, chercheur en apprentissage automatique chez Intel. Les chercheurs n'ont utilisé les données que lorsqu'au moins deux des trois étiqueteurs se sont mis d'accord sur la façon dont les expressions d'un élève devraient être catégorisées.

"C'était vraiment intéressant de voir ces émotions - les états sont vraiment subtils, ce sont de très petites différences", a déclaré Civitci. "C'était vraiment difficile pour moi d'identifier ces différences."

Plutôt que d'évaluer les modèles d'intelligence artificielle d'Intel pour savoir s'ils reflétaient avec précision les émotions réelles des étudiants, les chercheurs "l'ont positionné en fonction de la mesure dans laquelle un enseignant peut faire confiance aux modèles", a déclaré Aslan.

"Je ne pense pas que ce soit une technologie qui ait encore atteint sa pleine maturité", a déclaré Chasen à propos du système d'Intel. «Nous devons voir si les résultats sont pertinents pour les performances des étudiants et voir si nous ne pouvons pas en tirer des données utiles pour les instructeurs. C'est ce que nous testons pour le savoir.

En fin de compte, il a déclaré que le système Intel fournira un élément de données que Classroom Technologies et ses clients combineront avec d'autres signaux pour former une évaluation holistique des étudiants.

"Il n'y a jamais une seule donnée", a-t-il déclaré. Il a également suggéré que les informations révélées par la technologie Intel ne doivent pas être utilisées seules sans contexte pour juger des performances d'un élève, par exemple, "si l'IA dit qu'il ne fait pas attention et qu'il a tous les A".