Incidents associés
Lesley Mathis sait que ce que sa fille a dit était faux. Mais elle ne s'attendait pas à ce que la jeune fille de 13 ans soit arrêtée pour cela.
L'adolescente a fait une blague offensante en discutant en ligne avec ses camarades, déclenchant le logiciel de surveillance de l'école (https://apnews.com/article/ai-school-chromebook-gaggle-goguardian-securly-25a3946727397951fd42324139aaf70f).
Avant même la fin de la matinée, l'élève de quatrième du Tennessee était en état d'arrestation. Elle a été interrogée, fouillée à nu et a passé la nuit en cellule, raconte sa mère.
Plus tôt dans la journée, ses amis l'avaient taquinée à propos de son teint bronzé et l'avaient traitée de « Mexicaine », alors qu'elle ne l'était pas. Lorsqu'un ami lui a demandé ce qu'elle prévoyait pour jeudi, elle a écrit : « Jeudi, on tue tous les Mexicains. »
Mathis a déclaré que les commentaires étaient « injustes » et « stupides », mais le contexte montrait qu'ils ne constituaient pas une menace.
« Je me suis demandée si c'était ça l'Amérique dans laquelle nous vivons ? » a déclaré Mathis à propos de l'arrestation de sa fille. « Et c'était cette technologie stupide, stupide, qui se contente de récupérer des mots au hasard sans tenir compte du contexte. »
Les systèmes de surveillance des écoles américaines surveillent de plus en plus tout ce que les élèves écrivent sur leurs comptes et appareils. Des milliers de districts scolaires à travers le pays utilisent des logiciels comme Gaggle et Lightspeed Alert pour suivre les activités en ligne des enfants, à la recherche de signes indiquant qu'ils pourraient se blesser ou blesser autrui. Grâce à l'intelligence artificielle, la technologie peut s'immiscer dans les conversations en ligne et alerter immédiatement les responsables scolaires et les forces de l'ordre.
Les enseignants affirment que cette technologie a sauvé des vies. Mais ses détracteurs mettent en garde contre le risque de criminalisation des enfants pour des propos inconsidérés.
« Elle a banalisé l'accès et la présence des forces de l'ordre dans la vie des élèves, y compris à leur domicile », a déclaré Elizabeth Laird, directrice du Centre pour la démocratie et la technologie.
Les écoles redoublent de vigilance face aux menaces
Dans un pays lassé des fusillades en milieu scolaire, plusieurs États ont durci le ton face aux menaces contre les écoles. Parmi eux, le Tennessee, qui a adopté en 2023 une loi de tolérance zéro exigeant que toute menace de violence de masse contre une école soit immédiatement signalée aux forces de l'ordre.
La jeune fille de 13 ans, arrêtée en août 2023, échangeait des SMS avec des amis via une fonction de chat liée à sa messagerie scolaire au collège Fairview, qui utilise Gaggle pour surveiller les comptes des élèves. (L'Associated Press retient l'identité de la jeune fille afin de protéger sa vie privée. Le district scolaire n'a pas répondu à une demande de commentaire.)
Emmenée en prison, l'adolescente a été interrogée et fouillée à nu, et ses parents n'ont pas été autorisés à lui parler avant le lendemain, selon une plainte déposée contre le système scolaire. Elle ignorait pourquoi ses parents n'étaient pas là.
« Elle m'a dit plus tard : "Je croyais que tu me détestais." C'est un peu angoissant », a déclaré Mathis, la mère de la jeune fille.
Un tribunal a ordonné huit semaines d'assignation à résidence, une évaluation psychologique et 20 jours dans une école alternative pour la jeune fille.
Le PDG de Gaggle, Jeff Patterson, a déclaré lors d'une interview que le système scolaire n'avait pas utilisé Gaggle comme prévu. L'objectif est de détecter les signes avant-coureurs et d'intervenir avant que les problèmes ne soient portés à l'attention des forces de l'ordre, a-t-il déclaré.
« J'aimerais que ce soit considéré comme un moment d'apprentissage, et non comme une occasion de faire respecter la loi », a déclaré Patterson.
Les conversations privées des élèves font l'objet d'une surveillance inattendue
Les élèves qui pensent discuter en privé avec leurs amis ne se rendent souvent pas compte qu'ils sont sous surveillance constante, a déclaré Shahar Pasch, avocat spécialisé en droit de l'éducation en Floride.
Une adolescente qu'elle représentait avait fait une blague sur les fusillades dans un établissement scolaire sur une story Snapchat privée. Le logiciel de détection automatique de Snapchat a détecté le commentaire, l'entreprise a alerté le FBI et la jeune fille a été arrêtée dans l'enceinte de l'école en quelques heures.
Alexa Manganiotis, 16 ans, s'est dite surprise par la rapidité des logiciels de surveillance. L'école d'art Dreyfoos de West Palm Beach, qu'elle fréquente, a testé l'année dernière Lightspeed Alert, un programme de surveillance. En interviewant un enseignant pour le journal de son école, Alexa a découvert que deux élèves avaient tapé un message menaçant à son sujet sur un ordinateur de l'école, puis l'avaient supprimé. Lightspeed l'a détecté, et « ils ont été emmenés cinq minutes plus tard », a déclaré Alexa.
Les adolescents sont plus sévèrement sanctionnés que les adultes pour ce qu'ils écrivent en ligne, a déclaré Alexa.
« Si un adulte fait une blague raciste et menaçante sur son ordinateur, il peut la supprimer sans être arrêté », a-t-elle déclaré.
Amy Bennett, directrice de cabinet de Lightspeed Systems, a déclaré que le logiciel aide les écoles en sous-effectif à « être proactives plutôt que punitives » en identifiant les signes avant-coureurs de harcèlement, d'automutilation, de violence ou d'abus.
Cette technologie peut également impliquer les forces de l'ordre dans la réponse aux crises de santé mentale. Dans les écoles du comté de Polk, en Floride, un district de plus de 100 000 élèves, le programme de sécurité scolaire a reçu près de 500 alertes Gaggle en quatre ans, ont indiqué les responsables lors de réunions publiques du conseil scolaire. Cela a entraîné 72 hospitalisations d'office en vertu de la loi Baker, une loi d'État qui autorise les autorités à exiger des évaluations de santé mentale contre leur gré pour des personnes présentant un risque pour elles-mêmes ou pour autrui.
« Un très grand nombre d'enfants soumis à un examen d'office s'en souviennent comme d'une expérience traumatisante et préjudiciable, et non comme d'un élément bénéfique pour leur santé mentale », a déclaré Sam Boyd, avocat au Southern Poverty Law Center. Les districts scolaires de Polk et de West Palm Beach n'ont pas fait de commentaires.
Une analyse révèle un taux élevé de fausses alertes
Les informations qui pourraient permettre aux écoles d'évaluer l'efficacité du logiciel, comme le taux de fausses alertes, sont détenues par des entreprises technologiques et ne sont pas accessibles au public, sauf si les écoles les suivent elles-mêmes.
Gaggle a signalé plus de 1 200 incidents au district scolaire de Lawrence, au Kansas, au cours des dix derniers mois. Cependant, près des deux tiers de ces alertes ont été jugées sans gravité par les autorités scolaires, dont plus de 200 fausses alertes liées aux devoirs des élèves, selon une analyse de l'Associated Press des données obtenues suite à une demande d'accès aux archives publiques.
Les élèves d'un cours de photographie (https://lhsbudget.com/news/2024/02/09/art-students-push-back-against-potential-gaggle-censorship/) ont été convoqués au bureau du directeur, craignant que Gaggle ait détecté de la nudité. Les photos avaient été automatiquement supprimées des comptes Google Drive des élèves, mais les élèves qui disposaient de sauvegardes des images signalées sur leurs appareils ont démontré qu'il s'agissait d'une fausse alerte. Les autorités du district ont indiqué avoir ultérieurement ajusté les paramètres du logiciel afin de réduire les fausses alertes.
Natasha Torkzaban, diplômée en 2024, a déclaré avoir été signalée pour avoir corrigé la dissertation universitaire d'un ami, car elle contenait la mention « santé mentale ».
« Idéalement, je pense que nous ne devrions pas imposer une solution innovante et brillante d'IA à un problème profondément ancré comme la santé mentale des adolescents et le taux de suicide aux États-Unis, mais c'est là où nous en sommes actuellement », a déclaré Torkzaban. Elle faisait partie d'un groupe d'étudiants journalistes et artistes du lycée Lawrence qui ont intenté une action en justice la semaine dernière contre le système scolaire, alléguant que Gaggle les avait soumis à une surveillance inconstitutionnelle.
Les responsables de l'établissement ont déclaré prendre au sérieux les inquiétudes concernant Gaggle, mais ont également affirmé que la technologie avait détecté des dizaines de menaces imminentes de suicide ou de violence.
« Parfois, il faut considérer le commerce comme une affaire d'intérêt général », a déclaré Anne Costello, membre du conseil scolaire, lors d'une réunion du conseil en juillet 2024.
Deux ans après leur épreuve, Mathis affirme que sa fille va mieux, même si elle est toujours « terrifiée » à l'idée de croiser l'un des agents scolaires qui l'ont arrêtée. Un point positif, a-t-elle ajouté, a été la compassion des enseignants de l'école alternative de sa fille. Ils prenaient le temps chaque jour de laisser les enfants partager leurs sentiments et leurs frustrations, sans jugement.
« On dirait qu'on veut juste que les enfants soient de petits soldats, et ils ne le sont pas », a déclaré Mathis. « Ce sont juste des êtres humains. »
Ce reportage a analysé les réunions du conseil scolaire publiées sur YouTube, avec l'aimable autorisation de DistrictView, un ensemble de données créé par les chercheurs Tyler Simko, Mirya Holman et Rebecca Johnson.