Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる

レポート 4245

関連インシデント

インシデント 8291 Report
Facial Recognition System in Buenos Aires Triggers Police Checks Based on False Matches

Loading...
アルゼンチンにおける大規模監視の調査方法
pulitzercenter.org · 2024

アルゼンチンの首都圏の75%はビデオ監視下にあり、政府は看板で誇らしげに宣伝している。しかし、市の広大な監視インフラの一部である顔認識システムは、2019年にシステムが稼働して以来、少なくとも140件のデータベースエラーが警察による検問や逮捕につながったことで批判されている。当局は2020年のCOVID-19パンデミック中に顔認識機能を無効にし、司法による予防措置によりオフのままになっている。ブエノスアイレス市は現在、この機能を再びオンにするために法廷闘争を行っている。

調査の当初から、私たちはプライバシーとセキュリティの問題、AIの規制、AIの助けを借りた顔認識における既知の人種差別的パターンを考慮した。南米は安全保障上の問題に悩む大陸である。このような状況で、犯罪と闘い、犯罪を予防するために人工知能に目を向ける政策立案者が増えている。顔認識技術などの公共空間でのAIの使用は、比較的メディアであまり取り上げられていない。ヨーロッパやアメリカで白熱した議論を引き起こしているものを、多くの南米人は黙って受け入れている。

私たちは、ブエノスアイレスで警察にAIによる顔認識を使用して誤って止められたデータベースエラーの被害者と会うことから調査を始めました。しかし同時に、裁判官が調査を行い、顔認識が監視やビッグデータの目的で悪用された可能性があることが判明しました。これを知ったとき、私たちのストーリーは一転しました。それは今です。ブエノスアイレス市は公共の安全のために顔認識に依存しています。しかし、司法の調査により、システムが改ざんされ、監視に使用されている可能性があることがわかりました。

公共の場での顔認識はヨーロッパでは規制されています。しかし、ブエノスアイレスでは、それは現実です。私たちは問題の真相を突き止めたいと思い、倫理的な問題、透明性に関する問題、規制オプション、システムのエラー、データ保護について調査しました。司法の調査により、システムが悪用された可能性があることが明らかになったとき、これが私たちのストーリーであることは明らかでした。これは、ストーリーが明らかにしたことでもあります。システムは完璧ではないのです。そして、管理が不十分な場合、顔認識などのシステムは非常に簡単に悪用される可能性があります。

調査で明らかになったこと


ギジェルモ・フェデリコ・イバローラは、自身の逮捕について「悪夢」と表現しています。ブエノスアイレスの顔認識システムのカメラは、彼を犯罪者として特定しました。しかし、別のギジェルモ・イバローラが、600キロ離れた都市で問題の強盗を犯しました。彼は5日間刑務所で過ごさなければならず、最終的に持ち帰り用のコーヒーと帰りのバスのチケット、そしてもちろん靴ひもを持って釈放されました。これは2019年に起こったことです。カメラの認識率、ソフトウェアの入手方法、誰がそれを実行しているか、どのような基準や管理メカニズムの下で行われているか、収集されたデータがどのくらいの期間どこに保存されているかはまだわかっていません。

私たちは、メディアの報道や誤検知に関するツイートを調べ、弁護士やブエノスアイレス市のオンブズマン事務所に連絡を取り、ギジェルモ・イバロラだけでなく他の被害者も捜索して見つけました。ギジェルモのケースは、6晩も独房で過ごしたため特に困難でした。

ブエノスアイレス市は顔認識に依存しています。2019年にシステムが導入されてから数か月後、政府は指名手配犯約1,700人が逮捕されたと発表しました。しかし、データプライバシー活動家は市を訴えました。システムが指名手配犯と認識したため、140人の無実の人々も警察に止められました。裁判所の命令で治安省のサーバーを捜索したIT専門家は、とんでもない疑惑に至りました。顔認識はビッグデータデータベースの作成や個人の監視にさえ使われていたのでしょうか?

私たちの ストーリー では、関係する主な関係者が発言しています。データベース エラーにより 6 日間独房に閉じ込められた男性。ブエノスアイレス市民の安全にとってシステムが不可欠であると考える治安大臣。システムの調査を命じた裁判官は、さまざまな不正の証拠を発見し、驚くべき結論を導きました。

私たちは、司法調査の結果得られた機密性の高い報告書にアクセスすることができました。機密の背景に関する会話は、一部非常に技術的な内容であった報告書の理解を深め、政治的に二極化した国でこの重要な文書の信頼性を確保するために特に重要でした。このケースの利点は、報告書が 2 つの異なる警察機関によって作成され、承認されたことです。市警察はブエノスアイレス政府に報告し、空港警察は中央政府に報告します。調査当時、両機関は政敵でした。

視覚的アプローチ: ドキュメンタリー写真 + 芸術的介入

このプロジェクトのユニークさは、記者 (Karen Naundorf) と写真家 (Sarah Pabst) のチームとして作業した点にあります。メディアの報道全般、特に画像は現在、信頼性の危機に瀕しています。フェイクニュースや最終的には AI によって生成された画像が不信感の増大につながっています。テキストと画像の信憑性も象徴するプロの著者や写真家のドキュメンタリー作品は、透明性と信頼性の向上に役立ちます。

私たちは最初からチームとして協力することの重要性を理解していました。一緒にブレインストーミングやリサーチを行い、インタビューや写真撮影、フォローアップの会話で互いに意見を交換します。そのため、最終結果はより良く、より完全なものとなり、私たちのストーリーのリーチが広がります。雑誌は、優れたリサーチだけでなく、テキストが一流の画像とうまく相互作用している場合にも、ストーリーに多くのスペースを割きます。

ビジュアルの重要性については幅広い科学的証拠があります。人間の脳に伝達される情報の 90% は視覚的であり、人間の脳はテキストよりも 60,000 倍速くビジュアルを処理できます。また、画像は書かれた言葉よりも長く記憶に残ります。しかし、AI に関する記事では、広範囲の写真が取り上げられることはめったになく、ほとんどの場合、同じイラストが使用されています。AI のように抽象的で技術的なものにおいては、より幅広い層の人々に簡単にアクセスできるようにするために、ビジュアルが特に重要になります。私たちは何年もチームとして働いており、プロジェクトでお互いの可能性をどれだけ引き出せるかを知っています。したがって、テキストはすべての重要な情報、個人的なストーリー、調査の結果を伝えますが、ドキュメンタリーと介入の両方の画像は、それらの結果を読者に近づけるのに役立ちます。

AI に関する私たちの報道の目的は、常にコミュニティ、つまり人間への影響を示すことです。そのため、古典的なドキュメンタリー写真は時代遅れではありません。それどころか、実際の人々を映し出すため、写真作品の重要な部分です。芸術的介入は同時に、隠されていて記録しにくいもの、つまり AI、アルゴリズム、そしてそれが私たちに与える影響を視覚的に表現しています。ドキュメンタリー写真と芸術的介入の両方を組み合わせたこのビジュアルは、AI のように理解しにくいものに光を当てています。

AI はどこにでもありますが、同時に抽象的で、把握しにくく、ほとんど目に見えません。芸術的介入は、この目に見えないものを視覚化することを目指しています。写真の小さな線は設置されたカメラの範囲を示し、デジタルコラージュはカメラのソフトウェアの機能を再現し、光を通して撮影された画像の小さな穴は芸術的に光を当てますが、同時にプライバシーの侵害とアルゴリズムによって私たちの生活が介入する方法を表しています。

撮影場所は、厳密にドキュメンタリー的なアプローチに従っています。被害者のギジェルモとレオがカメラに捉えられたポートレート、オフィスにいる政治家と裁判官、自宅や職場にいる弁護士。これらのドキュメンタリー画像に私たちが介入したことで、カメラの仕組みとその範囲、肖像画の背後にある情報の欠如、カメラ ソフトウェアが人物をマークする方法、ランダムに誤検知として選ばれる可能性を示すデジタル歪み、そして AI に関して私たち全員が受ける影響がさらに浮き彫りになりました。また、生体認証データも監視に使用されていることがわかったため、自画像にも介入しました。課題と教訓

私たちが直面した課題は多岐にわたります:

  • インタビュー相手は通常、特別な関心を持っています (専門家は通常、商業的または政治的な背景を持っています)
  • いくつかの質問は、単に答えられないままです (「席を外す」要求、たとえばソフトウェアやアルゴリズムに関する質問)
  • これらの問題の重要性が過小評価されています---潜在的なインタビュー相手にとっても、他の問題の方が切迫しています
  • 被害者ですら話すことに興味がありませんでした---政治的背景が大きすぎて、誰もブエノスアイレス市と対決したくありませんでした
  • 政治的二極化により、インタビュー相手の選択とデータへのアクセスが制限されます

私たちが調査を開始したとき、目標は倫理的な対立に対処し、テクノロジーの利点と潜在的な害を提示することでした。これは、実際のセキュリティ問題があり、テクノロジーの大規模な使用が予想されていない大陸で、そして多くの国で権威主義的な傾向が広まっている時代に、私たちにとって特に興味深いように思えました。

この考えは、ガヤルド判事の司法調査について知ったときにさらに強まりました。突然、顔認識システムが監視やビッグデータに使用されたのではないかという疑問が浮上しました。治安省が私たち自身の生体認証データも要求していることがわかったとき、プロジェクトは2度目の方向転換をしました。

司法当局は当初、第三者の個人的権利を侵害するとして、データ記録の詳細を私たちに提供することを拒否しました。そのため、私たち自身の個人データについてのみ調査することができました。そこで、当時この事件を扱っていたブエノスアイレス自治市の係争・行政・税務裁判所で、弁護士の助けを借りて法的手段による調査を開始しました。数か月後、私たちは最初に、役に立たない回答を受け取りました。裁判所は、私たち2人がデータベースに登録されていることを確認しましたが、検索の日時を示す技術的な専門知識はないと主張しました。

しかし、私たちが安全保障省に問いただす必要があったのは、まさにこの情報(日時)でした。なぜ私たちのデータが取得されたのか?そこで私たちは2度目の問い合わせをしました。今回は汚職事件を専門とする検察庁で、現在もこの問題に取り組んでいるところです。検察庁は、私たちの個人情報が要求されたという事実を確認しただけでなく、要求の日時も教えてくれました。

次の質問は、なぜ市が私たちのデータを要求したのか?でした。私たちはまず、報道機関に連絡して、省からの回答を得ようとしました。回答が得られなかったため、FOIAリクエストを提出しました。しかし、市は訴訟が進行中であることを理由に回答を拒否しました(2023年12月)。私たちは異議を唱え、新たな回答を待っています。

これは、時間的制約が課題になる可能性があることを示しています。公的機関が公開したくない情報はすべて、時間がかかります。これは、アルゴリズムに関するリクエスト(決して得られないものもあります)や、典型的な記者の質問にも当てはまります。ほぼ 1 年経ってから、ブエノスアイレス市から生体認証データの提供を求められたことが確認できました。

世界中の立法者は、顔認識を適切に規制するにはどうすればよいのかと疑問を抱いています。ブエノスアイレスの事例は、適切な法律だけでは不十分であることを明確に示しています。機能的な管理が必要です。そうでなければ、顔認識は危険な監視ツールになる可能性があります。

最後に、AI に関する記事は、他のトピックの記事よりもメディアに掲載するのが間違いなく困難です。これは基本的に、AI の取材を困難にするのと同じ理由です。つまり、読者や技術記事を専門としていない編集者にとって AI は理解しにくいのです。また、ラテンアメリカ大陸は、一見するとより緊急で雑誌に掲載しやすい問題に直面しています。経済危機、移民、貧困、犯罪、暴力、汚職です。しかし、AI はこれらの要因の多くを再現しますが、その影響は目に見えにくいものです。そのため、より幅広い読者に向けてこれらの記事を公開するのは、より大きな課題です。 AI に関する記事はテクノロジー セクションに掲載されることが多いですが、特に一般の関心を引くような記事の場合、これは残念なことです。テクノロジーに興味のない読者はテクノロジー セクションの記事をクリックしないため、記事を目にしない可能性があり、潜在的な読者層が制限される可能性があります。しかし、AI は長い間生活のあらゆる分野に存在しており、今後も存在し続けることはわかっています。

情報源を読む

リサーチ

  • “AIインシデント”の定義
  • “AIインシデントレスポンス”の定義
  • データベースのロードマップ
  • 関連研究
  • 全データベースのダウンロード

プロジェクトとコミュニティ

  • AIIDについて
  • コンタクトとフォロー
  • アプリと要約
  • エディタのためのガイド

インシデント

  • 全インシデントの一覧
  • フラグの立ったインシデント
  • 登録待ち一覧
  • クラスごとの表示
  • 分類法

2024 - AI Incident Database

  • 利用規約
  • プライバシーポリシー
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd