Problème 3521

Un boom commercial autour de l’utilisation de l’intelligence artificielle en classe crée de nombreux risques pour la vie privée et la sécurité bien avant que Washington ne s’attaque à cette technologie en évolution rapide.

Des dizaines de districts scolaires de l'Arizona ont examiné les fournisseurs de technologies pour éliminer les produits susceptibles d'utiliser les données des élèves à des fins publicitaires. Les écoles de Virginie occidentale et du Montana ont commencé à renforcer leur sécurité en utilisant des systèmes de reconnaissance faciale, même si le taux de fausses correspondances parmi les femmes et les enfants est élevé et constitue déjà une préoccupation dans tout l'État de New York.

La ruée vers la création d'outils d'IA pour l'enseignement primaire et secondaire a attiré de nombreuses entreprises qui ne sont pas familières avec les lois plus strictes sur la protection de la vie privée qui régissent les enfants, augmentant ainsi le risque que leurs informations se retrouvent entre les mains de vendeurs insouciants, disent les experts. Ce manque de connaissances et le retard du soutien fédéral obligent les dirigeants des États et locaux à gérer seuls les protections pour les jeunes, alors que les écoles se tournent également vers la technologie pour un tutorat personnalisé et une planification de cours.

"Il n'y a pas eu grand-chose de la part du gouvernement fédéral", a déclaré Christine Dickinson, directrice de la technologie du district scolaire unifié de Maricopa, au sud de Phoenix, en Arizona, dans une interview. "Nous espérons qu'il y aura des orientations, cependant, nous allons aller de l'avant à toute vapeur pour nous assurer que nous avons tous les outils en place pour que nos élèves réussissent et que nos enseignants pour s'assurer qu'ils peuvent respecter cette intégrité académique dans leurs salles de classe.

Oregon fournit une liste de contrôle et d'autres documents pour les écoles qui cherchent à développer des politiques d'IA générative pendant que la Californie dirige les écoles  sur la façon dont ils peuvent intégrer l'IA dans la classe d'une manière qui donne la priorité à la sécurité des élèves. Le Mississippi prévoit de publier des directives sur l'IA dans les écoles en janvier, et l'Arizona forme un comité début 2024 pour recommander des procédures politiques pour la mise en œuvre et la surveillance de la technologie dans les écoles.

"Il y a un équilibre entre l'atténuation du risque que [l'IA] pose probablement en termes de confidentialité des données, de biais et d'implications en matière d'équité, par rapport aux opportunités qu'elle présente", a déclaré Charlene Williams, directrice du département d'éducation de l'État de l'Oregon, qui a noté que l'État a reçu une certaine contribution du gouvernement fédéral à ses orientations.

La pandémie de Covid-19 a déclenché un boom des technologies éducatives alors que les étudiants et les enseignants sont soudainement devenus virtuels – un changement rapide qui a également déclenché une répression fédérale contre l'industrie en raison de pratiques prétendument laxistes en matière de confidentialité.

Plus tôt cette année, la Federal Trade Commission a déposé une plainte contre la société de technologie éducative Edmodo, aujourd'hui disparue, l'accusant d'avoir violé la COPPA, une loi fédérale qui interdit, entre autres violations, l'utilisation des informations personnelles des étudiants à des fins publicitaires sans le consentement des parents. La plainte fait suite à l'avertissement de la FTC à l'industrie des technologies éducatives l'année dernière, selon lequel la commission surveillait la conformité à la COPPA.

La FTC propose désormais de codifier cette directive de longue date qui interdit aux écoles d'autoriser la collecte de données sur les enfants de moins de 13 ans à des fins commerciales comme la publicité.

La ruée vers l'adoption de la technologie au plus fort de la pandémie a conduit le département de l'éducation de l'État de l'Arizona à renforcer ses pratiques en matière de confidentialité et de sécurité des données en 2022, selon Dickinson. Le district scolaire de Maricopa, qui compte environ 8 000 élèves, ainsi que d'autres dans tout l'État, travaillent désormais avec 1EdTech, qui les aide à maintenir un tableau de bord des fournisseurs de technologies éducatives sélectionnés pour travailler avec les enfants. Le processus d'autorisation garantit que les entreprises ont respecté l'accord sur les données du district et se conforment respectivement à la COPPA et à la FERPA, deux lois fédérales sur la confidentialité visant à protéger les enfants en ligne et les dossiers scolaires des étudiants.

Mais à mesure que la pandémie s’est atténuée et que les étudiants ont repris l’enseignement en personne, l’intelligence artificielle a commencé à accélérer les préoccupations existantes concernant la technologie éducative.

En plus de formuler des recommandations en matière de politiques et de procédures, le prochain comité d'IA de l'Arizona prévoit de publier des lignes directrices sur l'IA en classe qui compléteraient les recommandations formulées au niveau fédéral.

Le décret radical du président Joe Biden sur l'IA donne au ministère de l'Éducation environ un an pour développer davantage de ressources traitant des utilisations non discriminatoires de la technologie. De plus, le ministère espère publier une « boîte à outils d'IA » au printemps pour aider les écoles à mettre en œuvre les recommandations politiques de l'agence. La boîte à outils comprendrait des orientations sur « la conception de systèmes d'IA pour améliorer la confiance et la sécurité et s'aligner sur les lois et réglementations liées à la confidentialité ».

Les parents s'inquiètent également de ce qui est fait avec les données de leur enfant. Environ 57 % ont déclaré que l'école ou le district de leur enfant ne leur avait pas demandé leur avis sur la manière « d'utiliser les données et la technologie des élèves de manière sécurisée et responsable », selon un sondage du Centre pour la démocratie et la technologie mené entre juin et août 2023.

Hannah Quay-de la Vallée, technologue principale au centre, a déclaré que les États peuvent jouer un rôle plus important dans le contrôle et l'approbation des pratiques de confidentialité des fournisseurs, ce qui pourrait s'avérer bénéfique pour les petits districts qui n'ont pas la capacité de le faire.

"La discrimination et les violations de la vie privée peuvent résulter du manque d'informations sur le système, du manque de vérifiabilité du système", a déclaré Quay-de la Vallée, soulignant qu'il existe un certain chevauchement dans la manière dont les dirigeants de l'éducation abordent les deux.

Il existe également une législation au Congrès qui créerait davantage de surveillance fédérale et obligerait certaines entreprises à signaler l'impact que leur technologie pourrait avoir sur les consommateurs. Mais les législateurs, en particulier ceux du Sénat, continuent de tracer la voie à suivre pour la gouvernance de l’IA.

L'Algorithmic Accountability Act, bien qu'il ne s'agisse pas d'un projet de loi spécifique à l'éducation, affecterait les entreprises de technologie éducative et les fournisseurs non spécifiques à l'éducation engagés par les écoles. Le projet de loi donnerait à la FTC plus de gouvernance sur certaines entreprises technologiques en les obligeant à évaluer leurs systèmes d'IA pour une série de facteurs tels que la partialité et l'efficacité.

Après un contestation judiciaire et moratoire ultérieur, nouveau York a interdit l'utilisation de la reconnaissance faciale dans les écoles en septembre après que l'État ait constaté que l'utilisation de la technologie à des fins de sécurité "pourrait impliquer les lois sur les droits civils", notant que cela pourrait conduire à un "taux potentiellement plus élevé de faux positifs pour les personnes de couleur". les personnes non binaires et transgenres, les femmes, les personnes âgées et les enfants. Mais dans le Montana, l'État a interdit l'utilisation continue de la technologie de reconnaissance faciale par les gouvernements de l'État et locaux, mais [a exclu les écoles de l'interdiction](https://helenair.com/news/state-regional/facial-recognition-tech-technology -reste-l'école-malgré-l'interdiction-de-l'état-frt/article_81a35a96-5243-11ee-9112-4f306f94289c.html).

Le sénateur Ron Wyden, démocrate de l'Oregon et l'un des principaux co-sponsors de l'Algorithmic Accountability Act, a déclaré à POLITICO qu'il était "généralement un opposant à la reconnaissance faciale", notant que "de nombreux systèmes sont profondément défectueux".

"La reconnaissance faciale dans les écoles devrait être interdite jusqu'à ce qu'il y ait des preuves claires qu'elle est exacte, qu'elle améliorerait réellement la sécurité dans les écoles et qu'elle ne sera pas utilisée pour cibler les élèves noirs, hispaniques et autres élèves de couleur", a déclaré Wyden dans un communiqué de suivi. déclaration à POLITICO.

Bree Dusseault, directrice et directrice générale du Centre pour réinventer l'éducation publique, qui suit les directives de l'État sur l'IA en classe, a souligné l'importance de publier dès maintenant des ressources préliminaires sur l'IA, car les écoles voient déjà la technologie utilisée en classe.

« Nous avons appris cela pendant la pandémie, que certains systèmes [scolaires] font des choix pour aller de l'avant tout en mettant des drapeaux dans le sable et en essayant de diffuser quelques premières réflexions et conseils – et d'autres ne le font pas », a déclaré Dusseault. "Et cela a des implications différentes sur les étudiants et les éducateurs de ces systèmes."