Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 2436

Loading...
Sous surveillance numérique : comment les écoles américaines espionnent des millions d'enfants
theguardian.com · 2019

Pour Adam Jasinski, directeur de la technologie pour un district scolaire à l'extérieur de St Louis, Missouri, la surveillance des e-mails des étudiants était autrefois un travail chronophage. Jasinski avait l'habitude de faire des recherches par mot-clé dans les comptes de messagerie officiels de l'école pour les 2 600 élèves du district, à la recherche de mots comme "suicide" ou "marijuana". Ensuite, il devrait lire chaque message contenant l'un des mots. Le processus attrapait parfois des comportements inquiétants, mais "c'était fastidieux", se souvient Jasinski. L'année dernière, Jasinski a entendu parler d'une nouvelle option : à la suite de la fusillade dans une école à Parkland, en Floride, la société de technologie Bark proposait aux écoles une surveillance gratuite, automatisée et 24 heures sur 24 de ce que les élèves écrivaient dans leurs e-mails scolaires, partageaient des documents et des messages de chat et l'envoi d'alertes aux responsables de l'école chaque fois que la technologie de surveillance signale des phrases. Les alertes automatisées ont changé la donne, a déclaré Jason Buck, directeur du collège du district du Missouri. Un vendredi soir de l'automne dernier, Buck regardait la télévision à la maison lorsque Bark l'a alerté qu'un de ses étudiants venait d'écrire un e-mail à un autre étudiant parlant d'automutilation. Le directeur a immédiatement appelé la mère du premier élève : "Est-ce que l'élève est avec toi ?" Il a demandé. « Sont-ils en sécurité ? » Avant que son école n'utilise Bark, a déclaré le directeur, les responsables de l'école ne seraient pas au courant de la cyberintimidation ou d'un élève parlant de se faire du mal à moins qu'un de ses amis ne décide d'en parler à un adulte. Maintenant, dit-il, « Bark en a retiré ce morceau. L'autre élève n'a pas à avoir l'impression de trahir ou de bavarder ou quelque chose comme ça. Bien que les élèves de son école sachent qu'ils sont surveillés, ils ont d'abord été surpris de la rapidité avec laquelle les administrateurs de l'école pouvaient suivre ce qu'ils avaient tapé, a déclaré Buck. "Ce n'est pas, 'Hé, j'ai envoyé cet e-mail il y a deux jours', [c'est] 'Vous venez d'envoyer cet e-mail il y a trois minutes, parlons-en.'" Bark et des entreprises technologiques similaires surveillent désormais les e-mails et les documents de millions de personnes. d'étudiants américains, dans des milliers de districts scolaires, à la recherche de signes de pensées suicidaires, d'intimidation ou de plans pour une fusillade dans une école. La nouvelle technologie de surveillance scolaire ne s'éteint pas lorsque la journée d'école est terminée : tout ce que les élèves saisissent dans les comptes de messagerie, les chats ou les documents officiels de l'école est surveillé 24 heures sur 24, que les élèves soient dans leur classe ou dans leur chambre. Les entreprises technologiques travaillent également avec les écoles pour surveiller les recherches Web et l'utilisation d'Internet des étudiants et, dans certains cas, pour suivre ce qu'ils écrivent sur les comptes de médias sociaux publics. Les parents et les élèves ignorent encore largement l'étendue et l'intensité de la surveillance des écoles, selon les experts de la confidentialité, alors même que le marché de ces technologies a connu une croissance rapide, alimenté par les craintes de fusillades dans les écoles, en particulier à la suite de la fusillade de Parkland en février 2018, qui a fait 17 morts. La surveillance numérique n'est qu'une partie d'une industrie de la sécurité scolaire en plein essor, qui représente près de 3 milliards de dollars par an aux États-Unis, où les législateurs républicains ont bloqué toute législation substantielle sur le contrôle des armes à feu pendant un quart de siècle. «Les écoles ressentent une pression énorme pour démontrer qu'elles font quelque chose pour assurer la sécurité des enfants. C'est quelque chose pour lequel ils peuvent dépenser de l'argent, déployer et dire aux parents, c'est ce que nous faisons », a déclaré Chad Marlow, expert en confidentialité à l'American Civil Liberties Union. Contrairement au contrôle des armes à feu, Marlow a déclaré: "La surveillance est politiquement acceptable, et ils poursuivent donc la surveillance comme un moyen de démontrer l'action, même s'il n'y a aucune preuve que cela aura un impact positif sur le problème." Énorme croissance ----------- Il n'y a toujours pas d'évaluation indépendante pour savoir si ce type de technologie de surveillance fonctionne réellement pour réduire la violence et l'automutilation. Confidentialité Les experts affirment que la surveillance généralisée peut nuire aux enfants et peut être particulièrement dangereuse pour les étudiants handicapés et les étudiants de couleur. Malgré le manque de preuves issues de la recherche, les entreprises technologiques commercialisent des technologies de surveillance scolaire avec des déclarations audacieuses sur des centaines de vies sauvées, principalement grâce à la prévention des tentatives de suicide chez les jeunes. Gaggle, l'un des principaux fournisseurs de messagerie scolaire et de surveillance de documents partagés, affirme que sa technologie est actuellement utilisée pour surveiller 4,5 millions d'élèves dans 1 400 districts scolaires. La société affirme qu'au cours de la dernière année universitaire seulement, sa technologie "a aidé les districts à sauver la vie de plus de 700 étudiants qui planifiaient ou tentaient de se suicider". Bark dit qu'il travaille avec au moins 1 400 districts scolaires à travers le pays et affirme que sa technologie a aidé à prévenir "16 fusillades crédibles dans des écoles" et à détecter "vingt mille situations d'automutilation graves". Securly, un autre fournisseur de premier plan, affirme que ses produits sont utilisés pour protéger 10 millions d'élèves dans 10 000 écoles individuelles. Au cours de l'année écoulée, Securly a déclaré avoir aidé les responsables de l'école à intervenir dans 400 situations présentant une "menace imminente". Les statistiques des entreprises sur les vies sauvées sont basées sur leurs propres données anecdotiques et n'ont pas été évaluées de manière indépendante. "J'ai entendu de nombreux districts dire que dans les semaines qui ont suivi Parkland, ils recevaient des sollicitations par e-mail sans interruption de toutes sortes de nouvelles entreprises ou d'entreprises relativement nouvelles spécialisées dans les médias sociaux, qui disaient : "Nous pouvons résoudre vos problèmes", et beaucoup d'entre eux l'adoptaient », a déclaré Amelia Vance, directrice de la confidentialité de l'éducation au Future of Privacy Forum. "Certaines personnes pensent que la technologie est magique, que l'intelligence artificielle nous sauvera", a déclaré Vance. "De nombreuses questions et de nombreux problèmes de confidentialité n'ont pas été pensés, et encore moins résolus." Comment ça marche ------------ À Florence, en Caroline du Sud, les responsables de l'école sont intervenus après qu'un élève du collège ait commencé à écrire sur le suicide alors qu'il travaillait sur un devoir d'anglais en classe. Les phrases qu'elle a tapées dans un document Google ont déclenché une alerte de Gaggle, la société de surveillance travaillant avec le district scolaire. "En quelques minutes", l'élève a été retiré de la classe pour une conversation avec les responsables de l'école, selon le Dr Richard O'Malley, le surintendant du district. À Cincinnati, dans l'Ohio, le directeur de l'information du district scolaire a dû appeler la police au milieu de la nuit pour effectuer un contrôle de bien-être sur un élève qui avait été signalé par Gaggle pour avoir écrit sur l'automutilation. La situation était suffisamment grave pour que l'étudiant soit hospitalisé pour recevoir des services de santé mentale, a déclaré la responsable de l'information, Sarah Trimble-Oliver. Dans le comté rural de Weld, dans le Colorado, un responsable de l'école a reçu une alerte de GoGuardian, une entreprise qui surveille les recherches sur Internet des élèves, qu'un élève effectuait une recherche Google pour "comment me tuer" tard dans la soirée. Le responsable a travaillé avec un travailleur social pour appeler les forces de l'ordre afin d'effectuer un contrôle de sécurité en personne au domicile de l'étudiant, a déclaré le Dr Teresa Hernandez, responsable des interventions et de la sécurité du district. Lorsque la mère de l'élève a répondu à la porte, elle était confuse et a dit que son enfant dormait à l'étage depuis 21 heures. "Nous avions l'historique de recherche pour montrer, en fait, non, ce n'est pas ce qui se passait", a déclaré Hernandez. La loi fédérale exige que les écoles publiques américaines bloquent l'accès aux sites Web nuisibles et qu'elles « surveillent » les activités en ligne des élèves. La signification exacte de cette "surveillance" n'a jamais été clairement définie : la loi sur la protection de l'Internet des enfants, adoptée il y a près de 20 ans, a été motivée en partie par la crainte que des enfants américains ne regardent de la pornographie sur des ordinateurs scolaires financés par le gouvernement fédéral. Au fur et à mesure que la technologie a progressé et que les écoles ont intégré les ordinateurs portables et la technologie numérique dans chaque partie de la journée scolaire, les districts scolaires ont largement défini eux-mêmes comment surveiller de manière responsable les élèves sur les appareils fournis par l'école - et à quel point ils pensent que la surveillance devrait être. Les écoles ont été poursuivies en justice par des parents d'élèves qui se sont suicidés et par des parents d'enfants qui ont été victimes de cyberintimidation, a déclaré Vance, l'expert en matière de confidentialité des élèves. «Les écoles sont presque dans une situation damnée si vous le faites, damnée si vous ne le faites pas. S'ils choisissent de protéger davantage leur vie privée, ils pourraient être poursuivis, mais d'un autre côté, ils pourraient être poursuivis pour surveillance excessive », a-t-elle déclaré. La décision de Bark à la suite de la fusillade de Parkland de donner gratuitement des e-mails, des discussions et une surveillance partagée des documents à tout district scolaire qui le souhaitait était en partie altruiste, un effort pour répondre à une crise horrible, et en partie stratégique, dans l'espoir de fournir un service gratuit pour les districts scolaires en feraient une marque de confiance auprès des parents, aidant les ventes de ses produits de surveillance parentale à but lucratif, qu'elle commercialise pour 9 $ par mois, a déclaré Titania Jordan, la « directrice parentale » de la société. D'autres entreprises, dont certaines proposent aux écoles des analystes humains qui aident à examiner les alertes automatisées, facturent des milliers ou des dizaines de milliers de dollars aux districts. Le montant dépensé par les districts scolaires publics américains pour les services de surveillance des e-mails et des documents semble avoir fortement augmenté de 2013, l'année qui a suivi une fusillade de masse à l'école primaire de Sandy Hook, à 2018, passant de près de 4 millions de dollars à plus de 8 millions de dollars, selon une analyse. de contrats d'achat entre seulement deux grandes sociétés de surveillance, Gaggle et Securly, et environ 250 districts scolaires. Ces chiffres semblent être une sous-estimation de la taille réelle du marché, selon le Brennan Center for Justice, le groupe de défense progressiste qui a compilé et analysé les dossiers d'achat. En 2018, au moins 60 districts scolaires américains avaient également dépensé plus d'un million de dollars en technologies de surveillance distinctes pour suivre ce que leurs élèves disaient sur les comptes publics de médias sociaux, un montant qui a fortement augmenté à la suite de la fusillade de l'école de Parkland en 2018, selon au Centre Brennan. Valeurs en jeu --------------- Certains partisans de la surveillance scolaire affirment que la technologie fait partie de l'éducation des élèves d'aujourd'hui sur la façon d'être de bons « citoyens numériques », et que la surveillance à l'école aide à former les élèves pour une surveillance constante après l'obtention de leur diplôme. « Prenez un adulte dans la population active. Vous ne pouvez pas taper ce que vous voulez dans votre e-mail professionnel : il est examiné », a déclaré Bill McCullough, un porte-parole de Gaggle. "Nous préparons les enfants à devenir des adultes qui réussissent." L'expérience de la surveillance scolaire est un "terrain d'entraînement" qui pourrait signifier que les étudiants "ne perdront pas leur emploi pour avoir partagé du contenu inapproprié", a déclaré Trimble-Oliver, directeur de l'information du district scolaire public de Cincinnati, qui utilise Gaggle. Les étudiants « ont besoin de savoir que les organisations peuvent surveiller et surveillent probablement leur contenu », a-t-elle déclaré. Les experts en protection de la vie privée ont qualifié ces arguments de "préoccupants" et notent qu'il existe des limites légales à la manière dont les entreprises peuvent surveiller les e-mails professionnels des employés. "L'idée que tout ce que les élèves recherchent ou tout ce qu'ils écrivent va être surveillé par leur école peut vraiment inhiber la croissance et la découverte de soi", a déclaré Natasha Duarte, analyste politique au Center for Democracy and Technology. . Pour les étudiants noirs et les étudiants handicapés, qui font déjà face à un [montant disproportionné](https://www.washingtonpost.com/local/education/racial-disparities-in-school-discipline-are- growing-federal-data- shows/2018/04/24/67b5d2b8-47e4-11e8-827e-190efaf1f1ee_story.html) de mesures disciplinaires sévères, l'introduction de nouveaux types de surveillance peut être particulièrement préjudiciable, ont déclaré des experts en matière de confidentialité. Les algorithmes d'apprentissage automatique et les analystes humains risquent de mal comprendre ce que les étudiants écrivent - en particulier si les analystes humains sont plus âgés ou issus de milieux culturels différents de ceux des étudiants qu'ils surveillent, ont déclaré des experts. Si les entreprises de surveillance numérique analysant les e-mails et les chats des étudiants interprètent à tort leurs blagues ou leurs sarcasmes comme de véritables menaces, cela "pourrait exposer les étudiants aux forces de l'ordre d'une manière qu'ils ne l'ont jamais été dans le passé", a déclaré Elizabeth Laird, chercheuse principale pour la confidentialité des étudiants à le Centre pour la démocratie et la technologie. Les conséquences de l'implication des forces de l'ordre dans la réponse à ce que les élèves tapent sur leurs ordinateurs scolaires sont particulièrement préoccupantes dans un pays où plus de 40% des écoles ont des agents de police à l'intérieur des bâtiments scolaires servant d '«agents de ressources scolaires» dédiés, a déclaré Vance. Dans certains cas, les sociétés de surveillance qui surveillent les élèves peuvent elles-mêmes contacter directement les responsables locaux de l'application des lois pour prendre des mesures si elles craignent qu'une menace soit grave et si les responsables de l'école leur ont donné la permission de le faire. Les entreprises de surveillance des données recueillent sur les étudiants peuvent également être partagées avec les forces de l'ordre. Securly, l'une des principales sociétés de surveillance de l'éducation, permet aux analystes humains qui évaluent les messages potentiellement troublants des étudiants de revenir sur l'historique de navigation sur Internet et les recherches sur le Web d'un étudiant, ce qui leur permet de relier les points entre ce que sont les étudiants. lire, écrire, rechercher et, dans certains cas, publier sur les réseaux sociaux. Securly partagera des informations avec les forces de l'ordre "s'il y a un mandat ou une citation à comparaître", a déclaré Mike Jolley, directeur de la société K-12 Safety. Les données sur les étudiants individuels sont supprimées lorsque les étudiants obtiennent leur diplôme ou lorsque les écoles le demandent, a déclaré Jolley. Au Royaume-Uni, la technologie de surveillance scolaire a déjà été testée pour être utilisée dans les efforts de lutte contre le terrorisme. Impero, une société britannique de logiciels éducatifs, a piloté sa technologie de surveillance en tant qu'outil de lutte contre le terrorisme, signalant aux enfants l'utilisation de phrases telles que "épouse djihadiste", "guerre contre l'islam" ou "tu ne meurs qu'une fois", a rapporté le Guardian en 2015. L'entreprise a présenté cela comme un "effort de déradicalisation" qui aiderait les enseignants et autres fonctionnaires à identifier les « enfants vulnérables » ou les « enfants qui pourraient être à risque à l'avenir ». "Il est certainement juste de se demander dans quelle mesure nous nous sentons à l'aise avec les technologies initialement développées pour être utilisées dans la guerre et utilisées contre nos enfants", a déclaré Marlow, l'expert de l'ACLU. On ne sait pas quel genre d '«effet dissuasif» la surveillance pourrait avoir sur l'auto-exploration des étudiants, leurs conversations de groupe et leur liberté académique, a déclaré Marlow, l'expert en confidentialité de l'ACLU. Si les élèves savent que leurs écoles surveillent leur utilisation de l'ordinateur, les élèves LGBTQ des districts scolaires conservateurs se sentiront-ils à l'aise de faire des recherches sur leur sexualité ? Qu'en est-il des jeunes partisans de Trump dans les districts scolaires libéraux qui veulent faire des recherches politiques ? "Les écoles n'affichent pas sur un babillard à l'extérieur du bureau du directeur:" Voici les mots que nous recherchons "", a déclaré Marlow. « Cela oblige les élèves à être prudents. Ils pourraient ne pas écrire sur des choses ou parler de choses qui ne sont pas, en fait, surveillées. Changements de culture ----------------- Les responsables de l'école affirment que leur principale motivation pour utiliser la technologie de surveillance est la possibilité de sauver la vie d'un élève. Mais les écoles surveillent les documents numériques des élèves en temps réel pour un large éventail de contenus qu'ils considèrent comme problématiques, des jurons aux images nues et à la pornographie en passant par la cyberintimidation et les preuves de consommation de drogue et d'alcool. Dans le comté de Weld, au Colorado, une étudiante a envoyé un e-mail à une enseignante pour lui dire qu'elle avait entendu dire que deux garçons allaient fumer de l'herbe dans une salle de bain, a déclaré Hernandez, le directeur des services aux étudiants et de la sécurité. Gaggle a immédiatement alerté les responsables de l'école : "Dans les quatre minutes suivant l'envoi de cet e-mail, les troupes s'étaient déployées", a-t-elle déclaré. Gaggle envoie également automatiquement aux étudiants un e-mail de réprimande chaque fois qu'ils utilisent un blasphème. Quelques districts scolaires ont choisi de ne pas envoyer aux élèves les avertissements de Gaggle concernant les jurons, certains parce qu'ils craignent que si on rappelle aux élèves qu'ils sont surveillés, "les enfants auront alors recours à d'autres outils pour communiquer, et ils rater les problèmes potentiellement mortels dans lesquels ils auraient pu intervenir », a déclaré McCullough, le porte-parole de Gaggle. McCullough a déclaré que ces craintes étaient déplacées et que l'entreprise avait vu peu de preuves que les élèves surveillés sur les appareils scolaires étaient passés à d'autres formes de communication. "Les enfants qui nous utilisent dans leur quartier depuis des années et des années utilisent encore ces outils pour communiquer leurs pensées les plus intimes, car ils espèrent que leurs appels à l'aide seront exaucés, et ils ne sont pas à l'aise de communiquer comme les adultes communiquent, face à face- face à face », a déclaré McCullough. O'Malley, le surintendant de Caroline du Sud dont le district utilise Gaggle, avait une impression différente de la façon dont les enfants de son district avaient réagi à la nouvelle surveillance. "Une fois que les enfants savent qu'ils sont bâillonnés, qu'ils sont surveillés 24 heures sur 24, 7 jours sur 7, ils ont tendance à être plus proactifs en regardant ce qu'ils font", a déclaré O'Malley. Il a dit avoir entendu des étudiants du district utiliser Gaggle, le nom de la société de surveillance, comme verbe : « Nous ne pouvons pas faire ça. Nous sommes bâillonnés. Tracer la ligne ---------------- Alors que les parents sont souvent «reconnaissants» pour les informations qui proviennent d'une intervention, Buck, le directeur du Missouri, a déclaré que les élèves peuvent être «un peu contrarié parfois. Ils ont l'impression qu'il y a un peu ce problème de confidentialité. Mais au fil du temps, ils voient que nous essayons vraiment d'aider, surtout quand nous parlons de la question de l'automutilation. Certaines sociétés de surveillance scolaire ont défendu leurs produits comme étant plus sensibles à la vie privée des élèves que leurs concurrents – ou les propres parents des élèves. "Certains parents veulent une technologie qui leur donnera un enregistrement exact de chaque texte, de chaque e-mail", a déclaré Jordan, responsable parentale de Bark. Mais Bark ne propose pas cela, a-t-elle déclaré: "Nous alertons uniquement les parents et les écoles lorsqu'il y a un problème réel qu'ils doivent connaître." Pour Gaggle, a déclaré McCullough, la ligne claire offrait la surveillance des e-mails et des documents scolaires officiels des élèves uniquement. « Nous ne devrions pas regarder leur e-mail privé. Nous ne devrions pas regarder leurs publications privées sur les réseaux sociaux. Mais à l'école, avec des outils fournis par l'école, nous devons les protéger », a déclaré McCullough. Securly, en revanche, propose une application gratuite pour les parents dans les districts qui utilisent sa technologie qui leur permet de voir exactement quels sites Web leurs enfants ont visités, quelles recherches Google ils ont effectuées et quelles vidéos ils regardent sur YouTube, Jolley, Securly's directeur de la sécurité, a déclaré Pour le moment, l'entreprise n'a aucune protection de la vie privée pour les étudiants LGBTQ qui pourraient avoir besoin de rechercher des informations sans que leurs parents le sachent, bien que Jolley ait déclaré que c'était une préoccupation dont l'entreprise discutait activement. Alors que les entreprises de surveillance scolaire vantent des produits informés par "l'apprentissage automatique" et "l'intelligence artificielle", les responsables de l'école affirment que la technologie est encore loin d'être parfaite et qu'ils ont reçu de nombreuses fausses alertes, comme recevoir des drapeaux rouges lorsque les élèves se disent. sarcastiquement pour "se suicider", parler du groupe Suicide Boys, ou devoir écrire un devoir scolaire sur le roman américain classique To Kill a Mockingbird. Une enquête sur la surveillance scolaire par Education Week a examiné près de [3000 alertes](https://www.edweek .org/ew/articles/2019/05/30/schools-are-deploying-massive-digital-surveillance-systems.html) que Gaggle a envoyé à un district scolaire du Michigan. La plupart d'entre eux étaient des "infractions mineures", dont une douzaine d'étudiants qui ont stocké ou envoyé des fichiers contenant le mot "gay", et un qui a utilisé le mot "bâtard" dans un devoir scolaire sur l'Odyssée. Après avoir reçu plusieurs alertes de le même groupe de collégiens qui s'envoyaient des mèmes énervés, parfois jusqu'à 3 heures du matin, Buck, le directeur du Missouri, a appelé les garçons au bureau et les a encouragés à trouver un autre moyen de partager leurs blagues - peut-être un texte de groupe message - qui n'alerterait pas constamment leur directeur.

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd