レスリー・マティスさんは娘の発言が間違っていたと分かっています。しかし、13歳の少女が逮捕されるとは思ってもいませんでした。
少女はクラスメートとオンラインでチャット中に不快な冗談を言ったことが、学校の監視ソフトウェアの作動を引き起こしました。
テネシー州に住むこの中学2年生は、朝も明けないうちに逮捕されました。母親によると、尋問と全裸検査を受け、一晩留置所で過ごしたそうです。
その日の早い時間に、友人たちは少女の日焼けした肌をからかい、「メキシコ人」と呼んでいましたが、彼女はメキシコ人ではありません。友人に木曜日の予定を聞かれると、少女は「木曜日にメキシコ人を全員殺す」と書きました。
マティス氏は、コメントは「間違っていた」「愚かだった」が、文脈から見て脅威ではなかったと述べた。
「これが私たちが住んでいるアメリカなのかと感じました」とマティス氏は娘の逮捕について語った。「しかも、文脈も考慮せず、ただランダムに言葉を拾い集める、この愚かで愚かなテクノロジーのせいです」
アメリカの学校の監視システムは、生徒が学校のアカウントやデバイスに書き込むすべての内容を監視するようになっている。数千の学区 全米で、GaggleやLightspeed Alertなどのソフトウェアを使用して、子供たちのオンライン活動を追跡し、自傷や他人を傷つける兆候を探している。 人工知能の助けを借りれば、テクノロジーはオンライン上の会話に介入し、学校関係者と法執行機関の両方に即座に通知することができます。
教育関係者は、このテクノロジーが命を救ったと述べています。しかし、批評家は、このテクノロジーが子どもたちの軽率な発言を犯罪者として扱う可能性があると警告しています。
「このテクノロジーによって、法執行機関が生徒の生活、特に家庭にまでアクセスし、存在することが日常化しました」と、民主主義とテクノロジーセンターのディレクター、エリザベス・レアード氏は述べています。
学校は脅威への警戒を強化
学校での銃乱射事件に疲弊したアメリカでは、いくつかの州が学校への脅威に対してより厳しい姿勢を取っています。その中には、学校に対す る集団暴力の脅威があれば、直ちに法執行機関に通報することを義務付けるゼロトレランス法を2023年に可決したテネシー州も含まれる。
2023年8月に逮捕された13歳の少女は、フェアビュー中学校で、学校のメールに紐付けられたチャット機能を使って友人とメッセージをやり取りしていた。この学校では、生徒のアカウントを監視サービス「Gaggle」が利用されていた。（AP通信は、プライバシー保護のため少女の氏名を公表していない。学区はコメント要請に応じなかった。）
両親が学校を相手取って起こした訴訟によると、少女は刑務所に連行され、尋問と全裸検査を受け、両親は翌日まで少女と話すことを許されなかった。彼女は両親がなぜそこにいなかったのかわからなかった。
「彼女は後で『あなたは私のことを嫌っていると思っていた』と言いました。それがずっと心に引っかかっています」と、少女の母親であるマティスさんは語った。
裁判所は、少女に対し8週間の自宅軟禁、心理鑑定、そして20日間の代替学校への通学を命じた。
GaggleのCEO、ジェフ・パターソン氏はインタビューで、学校側はGaggleを本来の用途で使用していなかったと述べた。Gaggleの目的は、早期の兆候を見つけ、問題が法執行機関にエスカレートする前に介入することだとパターソン氏は述べた。
「あれは法執行機関の介入ではなく、教訓として扱われるべきだった」とパターソン氏は述べた。
生徒のプライベートチャット、予想外の監視に直面
フロリダ州の教育弁護士、シャハル・パシュ氏によると、 友人同士でプライベートにチャットしていると思っている生徒は、常に監視されていることに気づいていないことが多いという。
彼女が代理を務めたある10代の少女は、プライベートなSnapchatストーリーで、学校での銃乱射事件に関するジョークを投稿した。 Snapchatの自動検出ソフトがこのコメントを検知し、同社はFBIに通報、少女は数時間後に校内で逮捕された。
16歳のアレクサ・マンガニオティスさんは、監視ソフトの迅速な動作に驚いたと語った。彼女が通うウェストパームビーチのドレイフース芸術学校では、昨年、監視プログラムLightspeed Alertを試験的に導入した。アレクサさんは、学校新聞のために教師にインタビューした際、2人の生徒が学校のコンピューターにその教師を脅迫する内容を入力し、その後削除したことを発見した。Lightspeedがそのコメントを検知し、「5分ほどで生徒は連れ去られた」とアレクサさんは語った。
アレクサさんは、10代の若者はオンラインでの書き込みに対して、大人よりも厳しい罰を受ける可能性があると述べた。
「大人が自分のコンピューターで脅迫的な人種差別的なジョークを書いたとしても、削除すれば逮捕されることはない」と彼女は述べた。
ライトスピード・システムズのチーフ・オブ・スタッフ、エイミー・ベネット氏は、このソフトウェアは、いじめ、自傷行為、暴力、虐待の早期兆候を特定することで、人員不足の学校が「懲罰的ではなく、積極的に行動する」のに役立つと述べた。
この技術は、メンタルヘルス危機への対応に法執行機関を関与させることもできる。フロリダ州ポーク郡学区（生徒数10万人以上）では、学校安全プログラムが4年間で約500件のGaggleアラートを受信したと、教育委員会の公開会議で職員が述べた。この結果、ベイカー法に基づき、72件の強制入院が発生した。ベイカー法は、本人または他者に危険を及ぼす可能性のある人物に対し、当局が本人の意思に反してメンタルヘルス評価を求めることを認める州法である。
「強制検査を受けた子どもたちの非常に多くが、それを非常にトラウマ的で有害な経験として記憶しており、メンタルヘルスケアの助けにはなりません」と、南部貧困法律センターの弁護士サム・ボイド氏は述べています。ポーク学区とウェストパームビーチ学区はコメントを控えています。
分析で高い誤報率が明らかに
誤報率など、学校がソフトウェアの有効性を評価するのに役立つ情報は、テクノロジー企業が厳重に管理しており、学校が自らデータを追跡しない限り、公開されていません。
Gaggleは、カンザス州ローレンス学区に対し、過去10か月間に1,200件以上のインシデントを警告しました。しかし、AP通信が公文書請求を通じて入手したデータを分析したところ、これらの警告のほぼ3分の2は学校当局によって問題ではないと判断されました。その中には、生徒の宿題に関する誤報が200件以上含まれていました。
ある写真の授業の生徒たちは、Gaggleがヌードを検出したという懸念から校長室に呼び出されました。写真は生徒たちのGoogleドライブから自動的に削除されていましたが、フラグの付いた画像のバックアップを自分のデバイスに保存していた生徒たちは、それが誤報だったことを示しました。学区当局は、その後、誤報を減らすためにソフトウェアの設定を調整したと述べています。
2024年に卒業するナターシャ・トルクザバンさんは、友人の大学のエッセイに「メンタルヘルス」という言葉が含まれていたため、編集したとしてフラグが付けられたと述べています。
「理想的には、10代の若者のメンタルヘルスやアメリカの自殺率という根深い問題に、AIを使った斬新で派手な解決策を押し付けるべきではないと思いますが、現状はまさにその状況です」とトルクザバンさんは言います。彼女は、ローレンス高校の学生ジャーナリストとアーティストのグループの一員で、先週、学校システムを相手取り訴訟を起こしました。この訴訟では、Gaggleが違憲な監視行為を行ったと主張しています。
学校関係者はGaggleに関する懸念を深刻に受け止めていると述べていますが、同時に、この技術によって自殺や暴力の差し迫った脅威が数十件検出されたとも述べています。
「時には、社会全体の利益のために、取引に目を向けなければならないこともあります」と、教育委員会のアン・コステロ委員は2024年7月の理事会で述べました。
事件から2年が経ち、マティスさんは娘の状態は良くなっているものの、逮捕した学校職員に会うのが今でも「怖い」と言います。娘が通うオルタナティブスクールの教師たちの思いやりが、唯一の救いだったと彼女は言います。彼らは毎日、子どもたちが自分の気 持ちや不満を、非難することなく分かち合えるよう時間を割いた。
「まるで子どもたちに小さな兵士になってほしいと思っているようですが、彼らはそうではありません」とマティス氏は語った。「彼らはただの人間なのです。」
本稿では、タイラー・シムコ、ミリヤ・ホルマン、レベッカ・ジョンソンの研究者が作成したデータセット「DistrictView」の提供を受け、YouTubeに投稿された教育委員会の会議を検証した。