Problème 6227

Les élèves d'un lycée du Kansas s'inquiètent parfois lorsqu'ils rédigent leurs présentations ou leurs e-mails à leurs professeurs. Ils prennent le temps de réfléchir à leurs mots. Ils se demandent : « Est-ce que ça va être « Gaggle » ? »

Tout ce que les élèves du lycée de Lawrence écrivent ou publient sur leurs comptes scolaires peut être « Gaggle » : signalé par Gaggle Safety Management, un outil de sécurité numérique acquis par le lycée de Lawrence, au Kansas, en 2023. Gaggle utilise l'intelligence artificielle pour analyser les documents et les e-mails des élèves à la recherche de signes de comportements à risque, comme la toxicomanie, les menaces de violence ou d'automutilation, et les supprimer ou les signaler au personnel de l'établissement.

Les élèves affirment que son action va bien au-delà. Depuis sa mise en ligne à Lawrence, Gaggle a supprimé une partie du portfolio d'une élève en art – une photo de filles en débardeurs – après l'avoir signalée par erreur comme étant de la pornographie infantile. Un autre élève a été interrogé par l'administration après avoir écrit qu'il « allait mourir » parce qu'il avait passé un test de condition physique avec des Crocs.

L'année dernière, Suzana Kennedy, 19 ans, a envoyé un courriel à l'école pour demander un rapport sur des contenus scolaires signalés par Gaggle. Cette dernière a bloqué sa tentative d'enquête, a-t-elle déclaré. Le système a signalé et intercepté la réponse de l'école contenant les documents. Kennedy n'a jamais reçu de réponse.

Voilà à quoi ressemble la vie au lycée sous la surveillance d'un outil de sécurité basé sur l'IA comme Gaggle, qui revendique des partenariats avec environ 1 500 districts scolaires à travers le pays. L'entreprise, basée dans l'Illinois, présente sa surveillance 24h/24 comme un rempart contre une multitude de menaces qui pèsent sur les élèves d'aujourd'hui, telles que la violence armée, les problèmes de santé mentale et les agressions sexuelles.

Lors des réunions du conseil scolaire, les responsables de Lawrence ont qualifié Gaggle d'outil essentiel pour renforcer les procédures de sécurité. Le programme a permis au personnel d'intervenir dans plusieurs cas où des élèves présentaient un risque suicidaire, ont déclaré les membres du conseil scolaire.

Mais Gaggle a également fait l'objet d'une surveillance minutieuse en raison de la portée de sa surveillance et de plaintes pour intrusion dans la vie privée des élèves. D'anciens et actuels élèves de Lawrence, dont Kennedy, ont intenté une action en justice contre le district scolaire en août pour faire cesser son utilisation, alléguant que la surveillance de Gaggle était inconstitutionnelle et sujette à des ratés.

Au lieu d'assurer leur sécurité, affirme la plainte, la surveillance de Gaggle a eu un effet dissuasif sur les élèves. Ils se demandent si le fait de parler de santé mentale ou d'utiliser des mots inappropriés pourrait entraîner un signalement aux enseignants et la suppression de leurs devoirs.

« Cette crainte a toujours existé », a déclaré Natasha Torkzaban, 19 ans, ancienne élève plaignante. « Qui d'autre que moi consulte ce document ? »

Les écoles publiques de Lawrence ont refusé de commenter, mais ont partagé une déclaration de l'ancien surintendant Anthony Lewis en réponse aux critiques formulées à l'encontre de Gaggle en avril 2024, lorsque des journalistes étudiants avaient demandé à être exemptés de la surveillance de Gaggle afin de protéger leurs sources.

« Les informations que nous avons recueillies grâce à Gaggle ont aidé notre personnel à intervenir et à sauver des vies », avait déclaré Lewis à l'époque.

Le site web des écoles publiques de Lawrence indique que le district utilise le logiciel pour détecter « des signes d'automutilation, de dépression, de pensées suicidaires, de toxicomanie, de cyberintimidation, de menaces crédibles de violence envers autrui ou d'autres situations dangereuses ».

Gaggle n'a pas répondu aux demandes de commentaires du Washington Post et n'a pas encore réagi au fond de la plainte devant le tribunal. Dans des communiqués de presse publiés sur son site web, l'entreprise affirme s'engager résolument à assurer la sécurité des élèves sans compromettre la confidentialité.

Le produit de l'entreprise s'inscrit dans une vague de systèmes de sécurité scolaire basés sur l'IA qui utilisent l'apprentissage automatique pour détecter les risques en classe. Certains produits, comme Gaggle, surveillent l'activité des élèves sur les comptes et appareils de l'école. D'autres analysent les images des caméras de sécurité pour signaler les armes à feu et les bagarres dans les couloirs.

L'outil de gestion de la sécurité Gaggle peut examiner le contenu du compte Google ou Microsoft d'un élève, y compris les e-mails, les documents, les liens vers des sites web et les entrées d'agenda. Selon Gaggle, des « professionnels de la sécurité formés » évaluent tout contenu signalé pour détecter les faux positifs avant de le signaler aux écoles, bien que le procès Lawrence allègue que les évaluations sont sous-traitées à des prestataires tiers.

Une enquête menée par le Seattle Times et l'Associated Press au printemps dernier sur Gaggle a révélé que le système présentait des risques de sécurité et des préoccupations en matière de confidentialité. L'enquête a révélé que des journalistes ont pu temporairement consulter des captures d'écran de contenus d'élèves signalés qui n'étaient pas protégés par un mot de passe. Dans d'autres cas, des élèves LGBTQ+ de Caroline du Nord et de Colombie-Britannique ont potentiellement été dénoncés à leur famille et aux autorités scolaires lorsque Gaggle a signalé des messages concernant leur identité sexuelle ou leur santé mentale.

Amanda Klinger, directrice des opérations du Réseau pour la sécurité scolaire des éducateurs, a déclaré que Gaggle et d'autres systèmes similaires basés sur l'IA peuvent être un outil précieux pour repérer les comportements préoccupants des élèves, en particulier lorsque le personnel scolaire est surchargé. Cependant, Mme Klinger a ajouté qu'une mauvaise mise en œuvre risque de donner aux élèves le sentiment d'être excessivement surveillés.

« Je n'envie pas la situation des enseignants », a déclaré Mme Klinger, ajoutant : « Mais nous devons simplement être très conscients des limites de ces outils et de leurs conséquences imprévues. »

Le conseil scolaire de Lawrence a voté à l'unanimité en août 2023 pour la signature d'un contrat de trois ans avec Gaggle, d'un montant d'environ 160 000 dollars. Le district, qui ne permet pas aux élèves de se soustraire à la surveillance de Gaggle sur les appareils scolaires, a rapidement suscité la controverse. En 2024, la direction du lycée Lawrence a convoqué plusieurs élèves d'art, de journalisme et de photographie, les accusant d'avoir mis en ligne des images présentant des exhibitions indécentes ou de la pornographie juvénile, selon la plainte.

Opal Morris, une diplômée de Lawrence âgée de 18 ans et l'une des anciennes élèves poursuivant les écoles publiques de Lawrence, figurait parmi elles. Elle a déclaré avoir été sortie de la classe par des agents de sécurité pour être interrogée. Elle a expliqué avoir dit à la direction qu'elle avait récemment mis en ligne un portfolio de photos, et ils l'ont laissée partir.

« C'était très formel et très accusateur au début », a déclaré Morris. « Et puis, on lui a simplement dit : "Ok, tais-toi et retourne en classe." »

Morris a déclaré avoir constaté plus tard qu'une photo du portfolio avait été supprimée de son compte scolaire. Elle a conclu que l'image incriminée était un portrait de deux filles en débardeurs. Selon la plainte, aucun des autres élèves convoqués ce jour-là n'a été sanctionné.

Au printemps dernier, le journal étudiant du lycée Lawrence, le Budget, s'est plaint auprès de l'établissement que la numérisation par Gaggle des notes de rapport des élèves pourrait enfreindre la loi du Kansas en exposant leurs sources aux responsables de l'établissement.

Les responsables du Budget ont également signalé d'autres cas où ils étaient alarmés par la portée de Gaggle. Torkzaban, ancienne co-rédactrice en chef, a déclaré que le programme avait numérisé une dissertation d'admission à l'université sur le compte Google personnel d'une amie alors qu'elle la modifiait alors qu'elle était connectée à son compte scolaire. Elle a été « Gaggled » car la dissertation contenait les mots « santé mentale », a-t-elle expliqué.

À l'automne 2024, Kennedy, autre ancienne co-rédactrice en chef du Budget, a soumis sa demande d'accès aux données de Gaggle. Après plus d'un mois d'attente, a déclaré Kennedy, les administrateurs lui ont fait savoir qu'ils avaient découvert que leurs réponses étaient bloquées par Gaggle, sans en connaître la raison.

Les documents, que Kennedy a finalement obtenus par l'intermédiaire d'un enseignant et partagés avec le Washington Post, ont montré que Gaggle avait signalé plus de 1 200 cas de contenu « douteux » de la part d'élèves dans tout le district entre novembre 2023 et septembre 2024. Parmi les mots-clés signalés par Gaggle figuraient des jurons, des termes liés à la violence armée et à l'automutilation, ainsi que des mots comme « sexe », « ivresse », « se battre » ou « bombe ».

Dix-huit incidents ont été signalés aux forces de l'ordre. Environ 800 ont été classés comme « sans objet », tandis que d'autres ont été traités après qu'un enseignant a interrogé un élève ou l'a réprimandé pour son choix de mots. Parmi ces incidents sans objet figurait un élève interrogé en août dernier pour avoir écrit un message contenant la phrase « Je voulais tuer ».

« Elle a dit qu'elle envoyait un courriel à sa grand-mère et faisait référence à une mouche qu'elle voulait qu'elle tue », peut-on lire dans le rapport.