先週、フロリダ州の中学校に警報が届いてから数分後、警察が現場に急行した。防犯カメラが校舎内に迷彩服を着た男を捉えていた。男は「廊下に向けられた疑わしい武器」をライフル銃の構えで構えていた。
オビエドの学校は封鎖された。警察の報告によると、警察官が教室を捜索したが、男は見つからず、騒ぎも聞こえなかったという。
その後、通信指令係が新たな情報を加えた。警察に通報された画像を詳しく調べたところ、疑わしいライフル銃はバンドの楽器だった可能性があると警察官に伝えられた。
警察官はバンド室で生徒たちが隠れていた場所へ向かった。そして、テーマパークの仮装デーで軍服を着ていた生徒である犯人と、「疑わしい武器」であるクラリネットを発見 した。
この失態は、ロートン・チルズ中学校で使用されていた人工知能（AI）搭載の監視システムが、クラリネットを誤って武器と判定したことが原因だと、システムを運営し、ロートン・チルズの学区と契約しているセキュリティ会社ZeroEyesは述べている。
全米各地で増加している学区と同様に、セミノール郡公立学校区もキャンパスのセキュリティ強化にAI搭載の監視システムを導入している。ZeroEyesは、監視カメラの映像をスキャンして武器や密輸品の兆候を検出し、発見時に警察に通報する脅威検知システムを販売している。土曜日にブラウン大学で発生した銃乱射事件のように、注目を集める学校での銃乱射事件が頻発する中で、こうしたシステムへの需要が高まっている。この事件では、学生2人が死亡、9人が負傷した。
学校の安全とプライバシーの専門家の中には、フロリダ州の中学校で最近起きた事件は、学校が使用している脅威検知システムが誤作動を起こし、生徒に過度の疑念とストレスを与えているという傾向の一端だと指摘する者もいる。
「これらは実証されていない技術であり、高い確実性と安全性を提供すると謳われている」と、K-12学校銃撃事件データベースの創設者であるデビッド・リードマン氏は述べた。リードマン氏は2023年9月にゼロアイズに業界調査ディレクターとして入社し、その年に解雇されたと、ゼロアイズとリードマン氏は述べている。
ゼロアイズは、訓練を受けた従業員がアラートを送信する前に確認しており、同社のソフトウェアは、校内の武器を数秒以内に法執行 機関に警告することで、大量銃撃事件の防止に人命を救うことができると述べている。ロートン・チルズ校では、ゼロアイズが警告した生徒は楽器をライフルのように持っていたと、共同創設者のサム・アライモ氏はワシントン・ポスト紙に語った。
「私たちはミスを犯したとは思っていませんし、学校もそう思っていません」とアライモ氏は述べた。 「警察を派遣しないよりは派遣した方がましだった」
セミノール郡公立学校は火曜日の事件についてコメントを控えたが、事件後にロートン・チルズ高校の生徒の保護者に送った手紙のコピーを提供した。
メリッサ・ラウダニ校長は、「校内への脅威はありませんでしたが、校内で武器を持っているふりをすることの危険性について、生徒と話し合っていただきたいと思います」と書いている。
生徒の安全に対する懸念から、全国の学区は、管理者や法執行機関に脅威を事前に警告するAI支援セキュリティツールの導入を進めている。ZeroEyesの広報担当者オルガ・シュムクリヤー氏によると、同社の製品は48州で使用されており、過去3年間で1,000以上の武器を検出したという。
これらのシステムは通常、銃を持った人物の画像など、大量のサンプルデータをリアルタイムで照合することで、安全上のリスクを検出するように訓練されている。
時にはミスを犯すこともある。 10月、メリーランド州ボルチモア郡の保護者と当局は、別のAI脅威検知システムがドリトスチップスの袋を銃と間違えて警報を発し、高校生が手錠をかけられた事件を受けて、そのシステムの見直しを求めた。(https://abc7.com/amp/post/student-handcuffed-doritos-bag-mistaken-gun-schools-ai-security-system-baltimore-county-maryland/18073796/) 2023年、テキサス州クルートの高校は、ZeroEyesが人物がライフルを所持していると誤報したため、封鎖されたとNews 4 San Antonioは報じている。[https://news4sanantonio.com/newsletter-daily/texas-high-school-goes-into-lockdown-due-to-ai-security-systems-false-alarm-students-friends-family-scared-security-system-campus]
あるケースでは、別の脅威検知システムが学校での致命的な銃乱射事件を回避できなかった。CNNによると、ナッシュビルのアンティオック高校では、1月に17歳の生徒が同級生を銃で殺害した際に、銃を検知するAI監視ソフトウェアが導入されていた。 CNNによると、システムは犯人を見逃した。犯人は監視カメラから遠すぎたため、武器を検知できなかったという。
学校のデバイス上で生徒の行動を監視する他のシステムも、生徒を誤って告発し、プライバシーを侵害しているとして批判されている。9月には、カンザス州の高校の生徒が、監視ツールが美術作品をポルノと誤って判定したとして、学区を訴えた。
報道や同社によると、ZeroEyesは2021年からセミノール郡公立学校と緊密に協力している。同年、同社はオビエド高校でZeroEyesシステムの銃検知能力のライブデモンストレーションを行った。
「この技術には非常に満足しています」と、セミノール郡学校公衆安全局長のリチャード・フランシス氏は当時、Fox 35 Newsに対し語った。
ZeroEyesの共同創設者であるアライモ氏は、AIが警告した潜在的な脅威を確認するため、軍隊や法執行機関での経験を持つ「プレッシャーの下でも冷静で、銃の識別に非常に長 けた」従業員を採用していると述べた。
ZeroEyesがロートン・チルズで警告した画像には、生徒がクラリネットを銃のようにドアに向けている様子が写っており、「今にも悪さをしようとしている銃撃犯」に非常によく似ていたとアライモ氏は述べた。
警察の報告書によると、警報に対応した警官は、クラリネットを持った生徒に職務質問を行った。生徒は、学校のクリスマスをテーマにした仮装デーに、クリスマス映画「レッド・ワン」の軍人キャラクターに扮装していたと主張した。
報道によると、生徒はクラリネットの持ち方が警報を鳴らすようなものだったことに「気づいていなかった」と述べている。警察はそれ以上の措置を取らなかった。
学校セキュリティシステムを研究しているアメリカ自由人権協会（ACLU）の上級政策顧問、チャド・マーロウ氏は、ロートン・チルズでの事件のような事例は、AIが警告した脅威を人間が確認したとしても、ゼロアイズのようなシステムは依然として誤りを犯す可能性があることを示していると述べた。
「コンピューター技術が人間の評価者に銃を目撃し、文字通り数秒が決定的な瞬間かもしれないと伝えた場合、その人は武器だと誤認するだろう」と同氏は述べた。
エデュケーターズ・スクール・セーフティ・ネットワークの運営責任者、アマンダ・クリンガー氏は、銃撃犯を捜索する学校に武装警察が駆けつける場合、誤報は「警報疲れ」を引き起こし、危険な状況を招く可能性があると付け加えた。
「これらの技術の限界をしっかりと認識する必要があります」とクリンガー氏は述べた。
アライモ氏は、ゼロアイズと その提携校区は、後悔するよりも安全を優先すると述べた。
「教育長、スクールリソースオフィサー、警察署長、警備責任者は、『はい、もっと積極的に行動し、少しでも疑いがあれば私に警告を発してください』と言うでしょう」とアライモ氏は述べた。「彼らは人々の安全を守りたいからです」
補足：この記事は、デビッド・リードマン氏がゼロアイズに短期間勤務していたことを踏まえ、明確化されています。