カンザス州のある高校の生徒たちは、授業のプレゼンテーションや先生へのメールを書く際に、時折不安を感じます。生徒たちは言葉を選び、互いに「これはGaggled（ギャグル）に引っかかるだろうか？」と問いかけます。
ローレンス高校の生徒が書いたり、学校のアカウントにアップロードしたりするものはすべて、「Gaggled（ギャグル）」に引っかかる可能性があります。これは、カンザス州ローレンス高校が2023年に導入したデジタルセーフティツール「Gaggle Safety Management」によってフラグが付けられるものです。Gaggleは人工知能（AI）を用いて生徒の文書やメールをスキャンし、薬物乱用、暴力や自傷の脅迫など、危険な行動の兆候がないか確認します。兆候があれば 削除するか、学校職員に報告します。
生徒たちによると、Gaggleはそれ以上の活動を行っているとのことです。ローレンス高校でGaggleがオンラインになって以来、ある美術科の生徒のポートフォリオの一部（タンクトップを着た女子生徒の写真）が児童ポルノと誤ってフラグ付けされ、削除されたことがあります。また別の生徒は、クロックスの靴を履いて体力テストを受けたため「死ぬ」と書き込んだ後、学校関係者から尋問を受けました。
スザナ・ケネディさん（19歳）は昨年、Gaggleによってフラグ付けされた生徒の資料に関する報告を求めて学校に記録請求のメールを送ったところ、Gaggleが調査を阻止したと彼女は語った。学校からの回答には記録が含まれていたが、システムはフラグを付け、傍受した。ケネディさんはその返信を受け取ることはなかった。
これは、AIを活用した安全ツールであるGaggleの監視下にある高校生活の一部生徒の証言だ。Gaggleは全米約1,500の学区と提携している。イリノイ州に拠点を置くこの企業は、銃による暴力、メンタルヘルスの問題、性的暴行など、現代の生徒を脅かす数々の脅威に対する防壁として、24時間体制の監視を宣伝している。
ローレンス市の教育委員会は、Gaggleを安全対策の強化に不可欠な支援だと評価した。このプログラムにより、生徒が自殺の危機に瀕していた複数の事例に職員が介入することができたと、教育委員会は述べている。
しかし、Gaggleは監視の範囲や生徒のプライバシー侵害に関する苦情についても厳しい調査を受けている。ケネディさんを含むローレンス高校の元生徒と在校生は8月、Gaggleの監視は違憲であり、誤作動 を起こしやすいとして、Gaggleの使用差し止めを求めて学区を提訴した。
訴訟によると、Gaggleの監視は生徒の安全を守るどころか、生徒の萎縮効果をもたらしているという。生徒たちは、メンタルヘルスについて話したり、不適切な言葉を使ったりすると、教師に通報され、課題を削除されるのではないかと不安に思っている。
「常にその不安がありました」と、訴訟の原告である元生徒のナターシャ・トルクザバンさん（19歳）は語る。「私以外に誰がこの文書を見ているのでしょうか？」
ローレンス公立学校はコメントを控えたものの、2024年4月に学生ジャーナリストが情報源保護のためGaggleの監視対象から除外するよう要請した際にGaggleが批判されたことを受けて、元教育長アンソニー・ルイス氏の声明を公開した。
ルイス氏は当時、「Gaggleの利用を通じて得た情報は、職員が介入し、人命を救うのに役立っています」と述べた。
ローレンス公立学校のウェブサイトには、同学区がこのソフトウェアを使用して「自傷行為、うつ病、自殺念慮、薬物乱用、ネットいじめ、他者への暴力の脅迫、その他の有害な状況の兆候」をスキャンしていると記載されている。
Gaggleはワシントン・ポスト紙のコメント要請に応じず、法廷での訴訟内容についてもまだ回答していない。同社はウェブサイトのニュースリリースで、「プライバシーを損なうことなく生徒の安全を支援するという確固たるコミットメント」を表明しています。
同社の製品は、機械学習を用いて教室内の安全リスクを検知するAI搭載の学校セキュリティシステムの一連の波の一環です。Gaggleのような一部の製品は、生徒の学校のアカウントやデバイスでの活動を監視します。また、防犯カメラの映像をスキャンして、廊下での銃撃や喧嘩を検知する製品もあります。
Gaggleの安全管理ツールは、生徒のGoogleアカウントまたはMicrosoftアカウントのコンテンツ（メール、ドキュメント、ウェブサイトへのリンク、カレンダーの予定など）を確認できます。 Gaggleによると、フラグが付けられたコンテンツは学校に報告する前に「訓練を受けたセキュリティ専門家」が誤検知の有無を審査するが、ローレンス訴訟では、この審査は第三者の請負業者に委託されていると主張している。
シアトル・タイムズとAP通信が今春、Gaggleの調査を実施した結果、このシステムにはセキュリティ上のリスクとプライバシーに関する懸念があることが判明した。調査では、記者が一時的に、パスワード保護されていないフラグが付けられた生徒のコンテンツのスクリーンショットを閲覧できたことが明らかになった。ノースカロライナ州とブリティッシュコロンビア州のLGBTQの生徒の性的アイデンティティやメンタルヘルスに関するメッセージをGaggleがフラグ付けした際に、家族や学校関係者にそのことが知られてしまうケースもあった。
教育者学校安全ネットワークの運営責任者であるアマンダ・クリンガー氏は、Gaggleや同様のAI搭載システムは、特に学校職員が過重労働となっている状況において、生徒の疑わしい行動を見つけるための「貴重なツール」になり得 ると述べた。しかし、導入が不十分だと、生徒が過度に監視されていると感じてしまう危険性があるとクリンガー氏は付け加えた。
「教育者の立場を羨ましく思うことはありません」とクリンガー氏は述べ、「しかし、これらのツールの限界と意図しない結果について、私たちはしっかりと認識する必要があります」と付け加えた。
ローレンス学区の教育委員会は、2023年8月にGaggleとの3年間の契約を約16万ドルで締結することを全会一致で決議した。Gaggleによる学校内デバイス監視を生徒が拒否することを許可していない同学区は、すぐに物議を醸した。訴状によると、2024年、ローレンス高校の管理者は美術、ジャーナリズム、写真の生徒数名を召喚し、わいせつな露出や児童ポルノを含む画像をアップロードしたとして告発した。
ローレンス高校卒業生で、ローレンス公立学校を訴えている元生徒の一人、オパール・モリスさん（18歳）もその一人だった。モリスさんは警備員に教室から引きずり出され、尋問を受けたという。モリスさんは、最近写真のポートフォリオをアップロードしたと管理者に伝えると、解放されたという。
「最初は非常に形式的で、非難めいたものでした」とモリスさんは語る。「そして、まるで『いいから、この件については黙って教室に戻りなさい』といった感じでした」
モリスさんは、後にポートフォリオの写真が自分の学校のアカウントから削除されていたことに気づいたという。問題の画像は、タンクトップを着た2人の少女のポートレートだとモリスさんは判断した。訴状によると、その日に召喚された他の生徒は誰も懲戒処分を受けなかった。
その春、ローレンス高校の学生新聞「バジェット」は、ガグルが学生の取材メモをスキャンすることで、情報源が学校関係者に公開され、カンザス州法に違反する可能性があるとして、学校に苦情を申し立てました。
バジェットの幹部たちは、ガグルの影響力に懸念を抱いた他の事例も指摘しました。元共同編集長のトルクザバン氏は、友人の個人用Googleアカウントで大学入学願書を編集した際、友人の学校アカウントにログインした状態でガグルがスキャンしたと述べています。ガグルの対象になったのは、そのエッセイに「メンタルヘルス」という言葉が含まれていたためだと彼女は述べています。
2024年秋、同じくバジェットの元共同編集長であるケネディ氏は、ガグルのデータに関する記録請求を提出しました。ケネディ氏によると、1ヶ月以上待った後、管理者から、回答がガグルによってブロックされていることに気づいたが、理由は分からないと伝えられたとのことです。
ケネディ氏が最終的に教師を通じて入手し、ワシントン・ポスト紙に提供した記録によると、2023年11月から2024年9月の間に、学区全体で1,200件以上の「疑わしい」生徒のコンテンツがGaggleによってフラグ付けされていたことが明らかになった。Gaggleがフラグ付けしたキーワードには、罵り言葉、銃による暴力や自傷行為に関連する用語、「セックス」「酔っ払い」「喧嘩」「爆弾」といった言葉が含まれていた。
18件の事件が警察に通報された。約800件は「問題なし」と分類されたが、その他の事件は教師が生徒に質問したり、言葉遣いについて叱責したりした後に対処された。問題なしと分類された事件の中には、昨年8月に「殺したかった」というフレーズを含むメッセージを書いたとして尋問を受けた生徒もいた。
報告書には、「彼女は祖母にメールを送っていて、祖母に殺してほしいハエのことを言っていた」と記されている。