9月18日、テキサス州司法長官（AG）は、ダラスに拠点を置くヘルスケアAI研究開発企業であるPieces Technologies, Inc.（以下「Pieces」）との和解合意を発表しました。この合意により、同社がヘルスケアAI製品の精度に関して虚偽、誤解を招く、または欺瞞的な主張を行ったという疑惑が解決しました。テキサス州司法長官事務所によると、同社はAI製品の広告を不正確に行い、その結果、患者に損害を与えた可能性があるとのことです。テキサス州司法長官事務所とPiecesの和解合意には、製品またはサービスのマーケティングおよび広告に関する開示要件、虚偽表示の禁止（事業製品またはサービスの推奨者またはレビュー担当者の独立性を含む）、そして製品またはサービ スの潜在的に有害な使用に関する文書化義務が含まれています。
この和解は、いくつかの点で注目に値します。第一に、データ関連の問題に関してAI企業が注意を払うべき規制当局としてのテキサス州司法長官事務所の立場を強化するものです。これは、同局による一連のプライバシー関連措置の最新のものであり、テキサス州は今後さらに積極的になる可能性が高いと思われます。第二に、AI企業が製品の開発および展開にあたり考慮しなければならない規制当局のリストに、州の司法長官が追加されました（連邦取引委員会（FTC）はこれらの問題に非常に積極的 ）に加えて）。最後に、AI分野における関連する規制執行リスク（プライバシー執行措置全般に当てはまるように）は、開発の一環として機密情報を取得することを目的とした製品を製造する企業にとってより大きくなるという事実を強調しています。
この記事では、Pieces社が締結した合意の概要と、和解から得られる重要なポイントを明らかにします。州のプライバシー法に関する重要な動向を常に把握するには、WilmerHale Privacy and Cybersecurity Law Blog に購読してください。
I. 訴状の概要
訴状は、Pieces社が、自社の生成AI製品の出力が非常に正確であることを示すと主張する一連の指標およびベンチマークに関して、虚偽、誤解を招く、または欺瞞的な表明を行ったと主張している。テキサス州司法長官は、Pieces社の表示が、不正取引慣行法（DTPA）、テキサス州商事・商業法第17.41-63条に違反していると主張しました。Pieces社は、入院医療施設向けのヘルスケアAI製品を開発しています。同社の製品には、AIが自動生成する臨床文書が含まれています。契約書によると、Pieces社の製品は「医師やその他の医療スタッフが患者の治療を支援するために頼りにすることを目的としている」とされています。Pieces社は製品のマーケティングにおいて、「幻覚」が最小限であると主張していました。幻覚とは、AI生成製品が不正確または誤解を招く出力を生成することを指す用語です。さらに、潜在的消費者向けの声明では、同社の製品は「非常に正確」で、「重度の幻覚発生率」は「0.001%未満」および「10万人あたり1人未満」であると主張していました。これらの主張を受けて、テキサス州の主要4病院が、患者の健康データをPieces社に提供し、患者の状態と治療計画の要約を含むAI出力を取得しました。
テキサス州司法長官は、Pieces社の広告は不正確であり、医療チームをサービスの正確性と安全性について欺き、ビジネスを誘導した可能性があると主張しています。さらに、テキサス州司法長官は、Pieces社が患者のリアルタイムの健康データを使用しながら、自社製品について不正確な発言をしたことで、公共の利益を危険にさらしたと説明しています。
II. 約定契約
約定契約に基づき、Pieces社は以下のことに同意します。
マーケティングおよび広告における明確かつ目立つ開示
Pieces社は、5年間、自社製品およびサービスのマーケティングおよ び広告において、明確かつ目立つ開示を行う必要があります。Pieces社が、自社のAI生成製品の成果物を示す指標、ベンチマーク、または類似の測定基準に関して、直接的または間接的に何らかの説明を行う場合、開示が義務付けられます。このような場合、Pieces社は、自社製品およびサービスのマーケティングまたは広告において、当該指標、ベンチマーク、または類似の測定基準の意味と定義、ならびに当該指標、ベンチマーク、または類似の測定基準を算出する方法、手順、またはその他のプロセスの両方を開示する必要があります。本契約では、Piecesが独立した第三者監査機関を雇用し、その監査結果がPiecesのマーケティングまたは広告に関する主張を裏付ける場合、この種の開示に代わる手段が認められています。
虚偽、誤解を招く、または根拠のない製品またはサービスに関する表示の恒久的な差し止め
Piecesは、製品またはサービスの正確性、試験方法、監視手順、定義、または製品またはサービスの指標やデータ使用の意味に関して、製品またはサービスに関する虚偽の表示を行うことを禁じられています。また、本契約では、製品の正確性、機能性、目的、その他の特徴に関して消費者またはユーザーに誤解を与えること、または製品またはサービスの推奨に参加する個人との金銭的または類似の取り決めを省略することを禁じています。
製品またはサービスの潜在的に有害な使用または誤用に関する開示義務
本契約では、Piecesに対し、自社の製品またはサービスの既知の有害または潜在的に有害な使用または誤用を消費者に開示することを義務付けています。Pieces は、自社の製品およびサービスのトレーニングに使用されるデータおよび／またはモデルの種類を文書化する必要があります。製品およびサービスの本来の目的を説明する。製品またはサービスの既知または合理的に認識可能な限界（製品またはサービスの不正確な出力に関連する身体的または経済的損害のリスクなど、製品またはサービスの使用に伴う患者および医療提供者へのリスクを含む）を開示する。不正確な出力のリスクや危害のリスクを高める可能性のある潜在的な誤用を開示する。製品またはサービスの誤用を防ぐための情報をユーザーに提供する。
III. 重要なポイント
- 機密データを処理するAI企業は、規制当局の監視に特に注意する必要がある。
この執行措置が、消費者に関する機密性の高い健康データを処理していた企業に対して行われたことは驚くべきことではない。機密データ（健康データを含む）は、過去数年間、プライバシー関連の執行措置に関して規制当局の焦点となってきた分野である。製品の開発および展開の一環として機密データを処理するAI企業は、規制当局にとって特に重要な分野となる可能性が高い。
2.州司法長官もAIを懸念している。
FTC（連邦取引委員会）は過去数年間、執行措置とガイダンス文書の両方を通じて、AI問題に積極的に取り組んできた。テキサス州司法長官事務所による今回の執行措置は、AI企業が州司法長官とも対峙しなければならない状況にあることを示している。多くの州では包括的な州プライバシー法が制定されており、企業に個人データの利用方法に関して積極的な義務を課しているため、AI企業にとって州は より厄介な存在と言えるかもしれない（これはAIトレーニングに利用可能なデータに影響を与える可能性がある）。
- 規制当局は、個人データにアクセスできるAIツールの透明性、信頼性、説明責任を求めている。
AI製品の精度を宣伝・マーケティングする企業は、規制当局による監視の強化を覚悟する必要がある。規制当局は、高リスクの個人データにアクセスできるAI企業に焦点を絞る可能性が高い。機密性の高い個人情報を含む医療データが危険にさらされている場合、こうしたデータを扱うAI企業は、誠実かつ正確で、あらゆる表明に責任を持つべきである。同時に、AI ツールを提供するプロバイダーと契約している個人データにアクセスできる企業は、それらのプロバイダーが実践基準に準拠していることを確認するために徹底的に調査する必要があります。