Incidents associés
Un chatbot IA très vanté --- conçu sur mesure pour aider les étudiants à réussir sur le plan scolaire et les parents à naviguer dans les complexités des écoles publiques de Los Angeles --- a été désactivé après que l'entreprise qui l'a créé a mis en congé « la grande majorité » de son personnel.
Le district scolaire a déclaré avoir abandonné ses relations avec AllHere, la société qui a créé « Ed », le chatbot en forme de soleil, après que « nous ayons été informés de leur effondrement financier ». AllHere n'a pas répondu à une demande de renseignements du Times cette semaine et le niveau de son fonctionnement n'est pas clair.
Dans un autre développement, une violation de données majeure a affecté une société de cloud de données appelée Snowflake, qui a travaillé avec L.A. Unified. FrançaisLe district a déclaré mardi qu'il n'y avait aucun lien avec la situation d'AllHere et qu'il travaillait avec des agences d'enquête pour évaluer les dégâts et déterminer quels dossiers du district ont été obtenus par l'intermédiaire d'un sous-traitant tiers.
Entre-temps, le district a débranché le chatbot - pour lequel AllHere avait été payé 3 millions de dollars - le 14 juin, moins de trois mois après avoir dévoilé la figure animée comme un compagnon conversationnel facile à utiliser pour les étudiants et un guide bientôt indispensable pour les parents. "Ed" est à la fois un chatbot, personnifié par un soleil rond et heureux, et une plateforme en ligne qui tente de rassembler dans un seul portail les dossiers des étudiants, les devoirs, les notes, les recommandations académiques et les références en santé mentale.
La plateforme en ligne a été introduite en mars par le surintendant. Alberto Carvalho a été un pionnier historique et unique en son genre dans le domaine de l'éducation. Il a déclaré qu'il constituait une pierre angulaire des efforts visant à rendre l'école plus attrayante, plus moderne, plus individualisée et plus efficace. Il a parlé de donner le ton à la nation dans une nouvelle technologie --- l'intelligence artificielle --- qui commence à peine à balayer le pays.
Les responsables ont souligné mardi que les sources d'information du chatbot restent disponibles sur la plateforme Ed. Les utilisateurs doivent simplement y naviguer de manière plus traditionnelle --- en utilisant des boîtes de dépôt et en cliquant sur des liens. Une caractéristique constante est que les informations peuvent être trouvées sans avoir à se connecter plus d'une fois, a déclaré Tony Aguilar, le chef de l'éducation spéciale et des programmes spécialisés du district.
Le district a l'intention de ramener le chatbot, mais il est en attente pendant que les responsables déterminent comment procéder.
Le système Ed a été salué comme omniscient en termes d'informations sur le district ainsi que comme entièrement protecteur des informations privées.
Il s'agissait également d'un travail en cours. Le chatbot ne répondait qu'aux questions qu'il reconnaissait. D'autres questions pourraient recevoir une réponse du type « Demandez à votre professeur », a déclaré Aguilar.
AllHere a travaillé avec le district pour élargir la base de connaissances du système, et ce travail devrait être poursuivi sans la collaboration de l'entreprise basée à Boston. De plus, AllHere avait fourni des modérateurs humains pour superviser le système.
Aguilar a déclaré que le district n'avait eu aucune idée de problèmes jusqu'au 14 juin, lorsque l'entreprise a annoncé qu'elle fermait pratiquement ses portes.
Le manque de sensibilisation du district est un problème, a déclaré Stephen Aguilar, directeur adjoint du Centre pour l'IA générative et la société de l'USC, qui n'a aucun lien avec Tony Aguilar du district.
Bien qu'AllHere soit un chouchou des médias dans le monde de la technologie, L.A. Unified avait l'opportunité et la responsabilité d'approfondir ses recherches, a déclaré Aguilar de l'USC.
« Nous pouvons évidemment pointer du doigt les entreprises, en particulier les startups, qui sont poussées à promettre trop et… à ne pas tenir leurs promesses. Surtout dans ce contexte, il appartient aux esprits les plus calmes de l’emporter et de dire : « Eh bien, vous me promettez la lune. Voyons si nous pouvons même faire décoller cet avion avant de nous envoler dans l’espace. » En fin de compte, la responsabilité incombe au district scolaire. »
AllHere avait un contrat avec L.A. Unified d’un montant pouvant atteindre 6 millions de dollars pour mener à bien le projet sur cinq ans – et a reçu environ la moitié de cette somme, a déclaré le district dans un communiqué.
Le deuxième plus grand système scolaire du pays « a atteint son objectif de développer un produit qui offre des parcours d’apprentissage individualisés aux étudiants… quel que soit le résultat avec AllHere », a déclaré le communiqué.
Un rapport de situation d’AllHere a été fourni par le représentant de l’entreprise Toby Jackson le 20 juin, en réponse à une demande privée sur l’entreprise obtenue par le Times.
"Il est vrai que Joanna Smith-Griffin n'est plus la PDG d'AllHere et, le 14 juin, nous avons dû mettre en congé la grande majorité de nos employés en raison de notre situation financière actuelle", a écrit Jackson dans un e-mail.
"Cela étant dit", a poursuivi Jackson. "Je suis le directeur technique ici chez AllHere et l'architecte d'Ed et je suis resté avec une très petite équipe, principalement pour garantir qu'il n'y ait pas d'interruption de service pour Ed et pour aider à soutenir une transition ordonnée".
Chris Whiteley, identifié comme un ancien directeur principal de l'ingénierie logicielle chez AllHere qui a été licencié en avril, a exprimé des inquiétudes quant à la qualité de la protection des données, selon un article de The 74, un site Web d'actualités sur l'éducation qui a rendu compte pour la première fois sur les problèmes d'AllHere.
Whiteley a déclaré au site d'information sur l'éducation (https://www.the74million.org/article/whistleblower-l-a-schools-chatbot-misused-student-data-as-tech-co-crumbled/) qu'il avait alerté les responsables du district scolaire de Los Angeles que le chatbot de son entreprise traitait les dossiers des élèves d'une manière qui enfreignait probablement les règles de confidentialité des données de L.A. Unified et exposait les informations sensibles au risque d'être piratées --- et que personne ne lui avait jamais répondu.
Whiteley allègue que les messages contenant les informations personnelles des élèves ont été inutilement partagés avec des sociétés tierces. De plus, sept des huit demandes de chatbot ont été traitées via des serveurs étrangers.
Une telle conduite violerait le contrat avec le district, a déclaré Tony Aguilar.
Les problèmes de sécurité ne doivent pas être minimisés, a déclaré Faith Boninger, professeure de recherche au National Education Policy Center de l'Université du Colorado à Boulder.
"Si j'étais un parent ou un employé de Los Angeles, cet épisode me ferait sonner l'alarme", a-t-elle déclaré. « Le district n'a aucun contrôle sur les données qu'il partage avec les entreprises avec lesquelles il a conclu un contrat. Ce que ces entreprises font avec les données est régi par des politiques de confidentialité et des conditions générales qui, en règle générale, n'offrent pas une protection adéquate. »
Dans sa déclaration, le district scolaire a déclaré qu'il « continuerait à prendre toutes les mesures nécessaires pour garantir que des mesures de protection de la vie privée et de la sécurité appropriées soient en place. »
Un coup d'envoi festif
Le chatbot a été officiellement présenté en fanfare le 20 mars dans le gymnase décoré du Roybal Learning Center, à la limite du centre-ville. Il y avait des arches de ballons et un podium en bambou brillant avec des écrans géants de chaque côté.
À côté des dignitaires se trouvait une personne en costume d'Ed - en gros, un soleil jaune rond avec des jambes.
Presque perdue dans le brouhaha d'un DJ se trouvait une table où les étudiants essayaient le produit --- en tapant des questions et en recevant des réponses plutôt classiques mais potentiellement utiles.
« En termes simples », a déclaré Carvalho, « Ed s'appuie sur les informations que le district possède déjà, les analyse, les personnalise en fonction des besoins de chaque élève et construit ensuite un parcours, comme vous le verrez, pour chaque élève du système scolaire.
« Il dira à Maria : « Tu es un peu en retard en lecture. Mais nous t'avons eu. Clique ici. » Maria cliquera et sans avoir besoin d'une connexion supplémentaire. Une seule connexion ouvrira les portes de toutes les ressources pour répondre aux besoins de chaque élève. »
Mardi, une déclaration du district a offert une explication plus nuancée :
« Après la pandémie, nous avons connu des problèmes d'absentéisme chronique massif, une baisse des performances scolaires et des élèves désengagés. La plateforme entièrement intégrée combinée à un chatbot qui fournissait des rappels/coups de pouce était notre réponse à ce problème croissant et nous voulions utiliser la technologie la plus avancée disponible. »
Dans une interview accordée au Times en mars, Smith-Griffin a parlé de l'entreprise qu'elle a fondée. « Notre objectif a toujours été... d'améliorer les résultats des élèves en veillant à ce que la bonne famille ait accès aux bonnes informations au bon moment », a-t-elle déclaré. « Souvent, les écoles ont des pratiques très impactantes comme le mentorat et les programmes de visites à domicile qui sont très difficiles à mettre en œuvre. La première version d'AllHere portait donc sur la manière dont nous utilisons la technologie, d'une manière basée sur la recherche. ... Cette version d'AllHere était un chatbot 24h/24 et 7j/7 pour les parents qui répondait aux questions fréquemment posées sur l'école. »
Elle a ajouté : « Ce qui a été si puissant dans le travail du LAUSD pour nous, c'est que nous avons toujours travaillé sur l'absentéisme, mais leur objectif était : comment prendre cette même technologie et créer un monde où elle pourrait être utilisée pour faciliter l'apprentissage des élèves avec des expériences pour les parents mais aussi pour les enfants --- de manière adaptée à l'âge, innovante mais toujours très basée sur la recherche ? »