2023年11月初めに罰金刑を受けました。正式な決定によると、運転手である私は10月中旬、運転中に携帯型電気機器を保持していた。費用は 380 ユーロで、管理費としてさらに 9 ユーロかかりました。そんなことをした覚えはないのですが、ちょっとショックでした。当然証拠が気になったので、CJIB（中央司法徴収庁）のウェブサイトで添付写真を調べてみた。
写真では、手を顔の近くに持っているのがわかりますが、手には何も持っていません。したがって、罰金は不当である。私のチケットは「誤検知」です。これについては後で詳しく説明します。もちろん異議申し立てはしましたが、まだ結果は出ていません。異議申し立てが処理されるまでに最大 26 週間かかる場合があります。
この写真の素晴らしい点は、このようなフラッシュ写真の分析 が私の仕事に非常に近いことです。画像を編集して分析するアルゴリズムを自分で作成します。もちろん、そのすべてが手動で行われるわけではないため、この種のアルゴリズムはフラッシュ写真の評価にも使用されます。 このブログの残りの部分には、警察のアルゴリズムで何が問題になったのか、そして何が改善できるのかについての分析が含まれています。
偽陽性とは何ですか?
アルゴリズムとモデルの世界には、さまざまなタイプのモデルがあります。いわゆる分類モデルは、意思決定を行ったり、項目をカテゴリに割り当てたりするために使用されます。数値または確率パーセンテージはバックグラウンドで計算されますが、出力はカテゴリに変換されます。
分類モデルの質問の例としては、次のようなものがあります。*「株価は上がっていますか、それとも下がっていますか?」、「サッカーの試合で 2 ゴール以上ありますか: はい、いいえですか?」、「画像にある車両はどれですか: a車、自転車、それとも電車でしょうか？」
モデルが何かが「はい」であるか「そうでない」かを予測する必要がある場合、モデルが間違っていることも当然起こり得ます。私のチケットの場合、モデルは私が電話を持っていることを示していましたが、そうではありませんでした。次に、誤検知について説明します。考えられる 4 つのシナリオを下の図 (混同マトリックス) に示します。
完璧なモデルは真陽性と真陰性のみを予測しますが、100% 正しい予測はまれです。偽陰性の数を最小限に抑える必要がある場合もあれば 、偽陽性の数を最小限に抑える必要がある場合もあれば、偽陽性の数を最小限に抑える必要がある場合もあれば、その組み合わせを最小限に抑える必要がある場合もあります。このモデルが罰金を科せられるべき全員を追跡することを主な目的としている場合、多くの人が不当に罰金を科される可能性もあります。もちろんその逆も同様です。
モノカム
私の同僚 Maarten Ketelaars は最近、警察の高度な分析プラットフォームについて説明するビデオを含むブログを見つけました。そのビデオの最初の 1 分では、私にフラッシュをもたらしたカメラである Monocam の使い方が説明されています。その YouTube 動画へのリンクは次のとおりです: The Advanced Analytics Platform of the Police -- YouTube。
このビデオでは、誰かが運転中にモバイルデバイスを保持しているかどうかをアルゴリズムが判断すると説明しています。その後、警察官は違反が実際に行われたかどうかを評価する必要があります。私の場合、アルゴリズムは私が運転中にモバイルデバイスを保持していると判断し、警察官はそれを受け入れました。したがって、2 つの間違いが発生しました。アルゴリズムエラーと人的エラー。
使用したアルゴリズムの再現
同僚の Tom van der Wielen と一緒に、不当な罰金を再現しようとしました。ちなみに、Monocam でどのアルゴリズムが使用されているかは正確には分からないことを強調しておくことが重要ですが、それは私たちが行ったことと似ているでしょう。
事前トレーニ ング済みの YOLO モデル (バージョン v8) を使用しました。 YOLO は You Only Look Once の略で、リアルタイムの物体検出アルゴリズムです。このアルゴリズムは人物とモバイル デバイスを検出できるため、潜在的な交通違反者を追跡できます。ウェブカメラからのライブ画像を使用してこのアルゴリズムを実行すると、人や電話が実際に検出されていることがはっきりとわかります。しかし、空の手を耳に当てるとすぐに、アルゴリズムが単に電話が存在するというフィードバックを提供できることもビデオで示しています。したがって、これは正しくなく、これはおそらく警察のアルゴリズムでも起こったことです。
このようなアルゴリズムをどのように改善できるかを理解するために、アルゴリズムがどのようにスマート化されるのかを簡単に説明します。それ自体はアルゴリズムではないからです。まず、各画像にどのオブジェクトが表示されているかがわかっている大量の画像セットが必要です。この大規模なセットは、トレーニング セット、検証セット、テスト セットの 2 つまたは 3 つのグループに分割されます。
トレイン セットは、どのオブジェクトがどの画像上にあるか、およびどのプロパティ (色、線など) がそれらに属しているかをアルゴリズムに教えるために使用されます。検証セットはアルゴリズムの多数のハイパーパラメーターを最適化するために必要であり、最終的にテスト セットはアルゴリズムがどの程度優れているかをテストするために使用されます。
バイアスを避けるために、アルゴリズムが以前にテ スト セットを確認していないことが重要です。アルゴリズムがテスト セットで十分に優れていることが判明した場合は、実稼働環境で使用できるようになります。
私たちが使用したアルゴリズムと警察のアルゴリズムは、トレーニング データセットに電話を耳の横に置いて通話している例が多数含まれているため、電話の存在を疑う可能性があります。トレーニング データセットには、空の手を耳に当てて座っている人々の写真がほとんど、またはまったく含まれていない可能性があります。その場合、電話機が実際に手に持たれているかどうかはアルゴリズムにとってそれほど重要ではなくなりますが、手が耳に近ければ十分です。これを改善するには、手が空いている場所にさらに写真を追加する必要があります。できれば少なくとも数百枚の写真を追加する必要があります。
*同様の問題は、オオカミとハスキーを区別する必要がある有名な人工知能のケースでも発生しました。このソフトウェアは、ハスキー犬やオオカミの大量の写真セットで非常に良いスコアを出しましたが、それは動物の特徴が独特だったからではありません。それは主に、背景に雪や緑が存在するためです。雪や緑を私の手/頭に置き換えると、この例は私の場合に完全に一致します。
したがって、アルゴリズムを 100% 信頼できるものにすることは依然として非常に困難です。したがって、手動検査を行う警察官に関連情報が提供されることが重要です。見つかった携帯電話の信頼性の割合がそれほど高くない場合は、そのことを警察官に伝えることも役立ちます。その後、アルゴリズムの結果を評価する際には特別 な注意を払う必要があることがわかります。
今は何ですか？
つまり、私の罰金には技術的ミスと人的ミスの両方があったのです。警察がアルゴリズムとそれに関わるプロセスを改善するのを手伝うことができたら楽しいだろうと思います。そして、私は私の反対の結果を辛抱強く待ちます。特にこのブログを書いていないので、罰金を払わなければならないなんて想像もできません。