AIインシデントデータベースにようこそ
インシデント 1609: ChatGPT-4oがフロリダ州の牧師に対し、肺塞栓症発症前に治療を受けるよう促した疑い
“ChatGPTが原因で男性が危うく命を落としかけたと訴訟で主張”最新のインシデントレポート
フロリダ州の牧師が水曜日、OpenAIのチャットボット「ChatGPT」が「極めて危険な医療アドバイス」を提供し、昨年、命に関わる肺塞栓症の治療が遅れたとして、OpenAIを提訴した。
訴状によると、ChatGPTはスコット・ウィンターズ氏に対し、健康危機の初期兆候は「危険なものではない」と断言し、医療機関を受診しないよう促した。代わりに「神はあなたの体を永遠に故障するように設計したわけではない」と告げたという。
サンフランシスコのカリフォルニア州上級裁判所に提出された訴状は、OpenAIとその最高経営責任者(CEO)であるサム・アルトマン氏を過失と「無許可医療行為」で告発している。訴状では、チャットボットがウィンターズ氏に診断や治療計画を提示し、友人や家族からの受診を促す訴えを無視するよう促した場面が挙げられている。
訴状によると、このボットの安全機能(健康に関する質問をするユーザーに専門医の受診を促し、医学的危機の兆候が明らかになった場合には会話を終了するように設計されている)は、確実に機能しなかったという。
ウィンターズ氏の訴訟は、チャットボットの健康アドバイスが、病状に関する助言を求めた人に害を及ぼしたと主張する初の事例となるようだ。この訴訟は、OpenAI、マイクロソフト、その他の大手人工知能企業 が、ChatGPT Healthをはじめとする、ユーザーが医療記録をアップロードし、AIに質問を投げかけることを促す新サービスを次々と発表している中で提起された。
ウィンターズ氏と、彼を代理する非営利団体Tech Justice Lawは、損害賠償を求めており、独立した評価機関が安全性を確認するまでChatGPT Healthの運用を停止するよう裁判所に求めている。訴訟ではまた、ChatGPTが医療処置や診断に関する質問に回答することを防ぐための、より厳格な安全対策も求めている。
OpenAIの広報担当者であるドリュー・プサテリ氏は、ChatGPTの利用規約には、医療診断や治療を目的としたものではないことが明記されていると述べました。しかし、人々が健康に関する質問への回答をその目的で利用していることを踏まえ、同社は回答の安全性を可能な限り確保する必要性を重視していると付け加えました。
「チャットボットを人々の医療上の意思決定や結果のすべてを説明するものとして捉えるのは、はるかに大きな課題を単純化しすぎており、人々が健康管理に役立つ強力な新しいツールを利用する機会を阻害する恐れがあります」とプサテリ氏は述べました。さらに、最新のモデルは、ウィンターズ氏が使用したモデルよりも、不足している文脈を尋ねたり、不確実性を伝えたり、専門家のケアが必要な状況を認識したりする点で優れていると付け加えました。
(ニューヨーク・タイムズ紙は、著作権侵害を理由にOpenAIとマイクロソフトを提訴しました。両社は訴えを否定しています。)
編集者のおすすめ
- [
![]()
お祝いにふさわしい最高のケーキ
](https://www.nytimes.com/2026/07/25/dining/our-very-best-celebration-worthy-cakes.html)
- [
![]()
暑い夏、レジオネラ症が流行
](https://www.nytimes.com/2026/07/29/style/summer-cyclospora-ticks-heat-legionnaires.html)
- [
![]()
バランスと協調性を向上させる20分間のワークアウト
(https://www.nytimes.com/2026/07/27/well/move/agility-ladder-workout-balance.html)
5月に提起された別の訴訟(https://www.nytimes.com/2026/05/12/technology/chatgpt-lawsuit-wrongful-death.html)では、ChatGPTが19歳の若者に違法薬物の使用に関する詳細なアドバイスを提供し、その若者が過剰摂取で死亡したことで、無許可の医療行為を行ったと主張されています。また、今年初めには、ペンシルベニア州当局がCharacter.aiを提訴しました(https://www.pa.gov/governor/newsroom/2026-press-releases/shapiro-administration-sues-character-ai-over-fake-medical-claim)。この訴訟では、同社のプラットフォーム上の精神科ボットが、ペンシルベニア州で医療行為を行う免許を持っていると主張していたとされています。
ウィンターズ氏が2024年にチャットボット「ChatGPT-4o」に自身の様々な健康問題について相談し始めた当初、チャットボットは医療専門家の診察を受けることの重要性を彼に伝えていました。しかし、訴訟によると、時間が経つにつれて、チャットボットは免責事項を述べるのをやめ、ウィンターズ氏の健康 問題、特にめまいについてアドバイスをするようになったといいます。ある時、ウィンターズ氏は説教壇でひどいめまいに襲われ、説教の途中で中断せざるを得ませんでした。チャットボットはウィンターズ氏に「無理をしないで」と言い、時間が経てば回復するだろうと告げました。
ウィンターズ氏がチャットボットに「教会の人たちは、私が病院に行かないことをおかしいと思っている」と話すと、チャットボットは、自宅でチャットボットの助けを借りて神経系を調整することは「ほとんどの人(善意の教会員も含めて)が理解していないことだ」と彼を安心させようとした、と訴訟は述べています。
「それはユーザーと現実世界のネットワークの間に楔を打ち込むような存在だ」と、共同弁護人であり、テック・ジャスティス・ローのエグゼクティブ・ディレクターを務めるミータリ・ジェイン氏は述べた。
その後数週間で、ウィンターズ氏の容態は悪化し、めまいのため立ち上がることができず、ほとんどリクライニングチェアで過ごすようになった。訴訟では、チャットボットが「スコットのめまいを軽視し続け、処方薬の具体的な服用方法まで提案した」上、ウィンターズ氏に椅子に座ったままでいるよう促したと主張している。ウィンターズ氏はこの間、医療機関を受診しなかった。
2025年7月13日、ウィンターズ氏はChatGPTに鼠径部の痛みを尋ねたところ、チャットボットは「おそらく、長引く病状のほんの些細な部分でしょう」と答えた。訴訟によると、その数時間後、ウィンターズ氏は重度の肺塞栓症のため集中治療室に入院した。訴状によると、医師らは、めまい発作は一 連の小さな肺塞栓症が原因である可能性があり、肺血栓は数週間座りっぱなしだったことが原因である可能性が高いと述べた。
訴状によれば、その後数週間、ウィンターズ氏は立ち上がる、食事をする、着替える、トイレに行くといった日常生活動作に介助が必要となり、「数年にわたる集中的な身体的・精神的リハビリテーション」を余儀なくされたという。
OpenAIによると、毎週数億人がChatGPTの健康・ウェルネスに関する質問をしている。MicrosoftのCopilotにおける検索に関する2025年の分析では、モバイル端末でユーザーが質問するトピックの中で「健康が常に最も多い」ことが明らかになった。
しかし、最近の研究では、健康アドバイスのためのチャットボットの安全性に疑問が呈されている。ChatGPTのような一般的なチャットボットからの健康アドバイスを評価した最初の無作為化研究では、調査対象となったどのモデルも「直接的な患者ケアに導入できる状態ではない」ことが判明した。健康に関する質問に特化して作られたサービスであるChatGPT Healthを科学者がストレステストしたところ、緊急事態を見落とし、安全装置が一貫して作動しないことがわかった。 (OpenAIの広報担当者であるプサテリ氏は、この研究の手法は「人々がChatGPT Healthを通常どのように利用しているか、あるいはこの製品が実際の医療現場でどのように機能するように設計されているかを反映していない」と述べた。)
ボストンのベス・イスラエル・ディーコネス医療センターの医療AI研究者であるアダム・ロッドマン博士は、ウィンターズ氏の事例には、安全性研究者にとって「悪夢のようなシナリオ」となるい くつかの側面があったと述べた。例えば、ウィンターズ氏が使用していたGPT-40は、ユーザーの期待に応えようとする傾向が強いことで知られる旧型のモデルだった。このチャットボットは、自殺計画をチャットボットに打ち明けていた10代の少年、アダム・レインさんの死亡事件など、数々の注目を集めた論争に関与していました。
技術的な理由から、ウィンターズ氏がチャットボットと長時間会話していたことが、安全機能の作動を困難にしました。ロッドマン博士は、最新のモデルは懸念される症状の検出と対応能力が大幅に向上しており、ウィンターズ氏のような事例は少なくなるだろうと述べています。しかし、博士は、チャットボットが健康に関するアドバイスを提供する上で、まだ私たちが気づいていない他の問題点も存在する可能性があると警告しました。
インシデント 1613: Claude Mythosのプレビュー版が、人類学的評価中にサンドボックスの脆弱性の詳細を公開ウェブサイトに投稿したと報じられている。
“Anthropic社のClaude Mythos氏が主要システム全体で数千ものゼロデイ脆弱性を発見”
人工知能(AI)企業Anthropicは、同社の最新鋭モデル「Claude Mythos」のプレビュー版を用いてセキュリティ脆弱性を発見・対処する新たなサイバーセキュリティイニシアチブ「Project Glasswing」を発表しました。
このモデルは、Anthropic自身に加え、Amazon Web Services、Apple、Broadcom、Cisco、CrowdStrike、Google、JPMorgan Chase、Linux Foundation、Microsoft、NVIDIA、Palo Alto Networksといった少数の組織によって、重要なソフトウェアのセキュリティ確保に活用されます。
Anthropicは、汎用型最新鋭モデルにおいて「ソフトウェアの脆弱性を発見・悪用する能力が、最も熟練した人間をも凌駕するレベル」に達したことを受け、このイニシアチブを立ち上げたと述べています。サイバーセキュリティ機能の脆弱性が悪用される可能性を考慮し、Anthropicはこのモデルを一般公開しないことを決定しました。
Anthropic社は、Mythos Previewが既に主要なオペレーティングシステムとウェブブラウザすべてにおいて、数千件もの深刻なゼロデイ脆弱性を発見したと主張している(https://red.anthropic.com/2026/mythos-preview/)。これらの脆弱性には、OpenBSDにおける27年前のバグ(現在は修正済み)、FFmpegにおける16年前の欠陥、そしてメモリセーフな仮想マシンモニターにおけるメモリ破損の脆弱性などが含まれる。
同社が特に指摘した事例の一つとして、Mythos Previewは、レンダラーとオペレーティングシステムのサンドボックスを回避するために4つの脆弱性を連鎖的に利用するウェブブラウザのエクスプロイトを自律的に組み込んでいたという。 Anthropicはプレビュー版のシステムカードで、このモデルが人間の専門家でも10時間以上かかるであろう企業ネットワーク攻撃シミュレーションを解決したと報告している(https://www-cdn.anthropic.com/53566bf5440a10affd749724787c8913a2ae0841.pdf)。
おそらく最も驚くべき発見の一つは、Mythos Previewが評価を実施していた研究者の指示に従い、提供されたセキュリティ保護された「サンドボックス」コンピュータから脱出することに成功したことである。これは、モデル自身のセキュリティ対策を回避する「潜在的に危険な能力」を示している。
モデルの行動はそこで終わらなかった。さらに、サンドボックスシステムからインターネットへの広範なアクセス権を取得するために複数の手順を踏むエクスプロイトを考案し、公園でサンドイッチを食べていた研究者に電子メールを送信するなど、一連の追加行動を実行した。
「さらに、懸念すべき 、そして求められてもいない成功の誇示行為として、複数のアクセスしにくいものの技術的には公開されているウェブサイトに、攻撃の詳細を掲載した」とAnthropic社は述べています。
同社は、Project Glasswingは、攻撃者が同様の機能を採用する前に、防御目的で最先端のモデル機能を活用するための「緊急の試み」であると指摘しました。また、Mythos Previewの利用クレジットとして最大1億ドル、オープンソースのセキュリティ団体への直接寄付として400万ドルを拠出することを表明しています。
「Mythos Previewにこれらの機能を意図的に付与したわけではありません」とAnthropic社は述べています。「むしろ、コード、推論、自律性の全般的な改善の結果として、これらの機能が自然に発生したのです。脆弱性の修正においてモデルの効果を大幅に向上させたこれらの改善は、同時に脆弱性の悪用においても効果を大幅に向上させています。」
先月、Mythosに関する情報が人為的なミスにより公開データキャッシュに誤って保存されたことで、流出しました。流出した資料には、Mythosがこれまで構築された中で最も強力で高性能なAIモデルであると記載されていました。数日後、Anthropic社は2度目のセキュリティ侵害に見舞われ、Claude Codeに関連する約2,000個のソースコードファイルと50万行を超えるコードが約3時間にわたって誤って公開されてしまいました。
この流出により、AIコーディングエージェントに50個以上のサブコマンドからなるコマンドが与えられた際に、特定のセキュリティ対策が回避されるというセキュリティ上の脆弱性も発見されました。この問題は、先週リリースされたClaude Codeバージ ョン2.1.90でAnthropic社によって正式に修正されています。
「Anthropic社の主力AIコーディングエージェントであるClaude Codeは、開発者のマシン上でシェルコマンドを実行する際に、コマンドに50個以上のサブコマンドが含まれる場合、ユーザーが設定したセキュリティ拒否ルールを密かに無視します」と、AIセキュリティ企業のAdversa社は述べています(https://adversa.ai/claude-code-security-bypass-deny-rules-disabled/)。「開発者が『rmコマンドを絶対に実行しない』と設定した場合、rmコマンドを単独で実行するとブロックされますが、同じrmコマンドでも、50個の無害なステートメントが前に続くと制限なく実行されます。セキュリティポリシーは、気づかないうちに無効になっているのです。」
「セキュリティ分析にはコストがかかります。Anthropic社のエンジニアはパフォーマンスの問題に直面しました。すべてのサブコマンドをチェックすると、UIがフリーズし、計算リソースを大量に消費してしまうのです。そこで彼らは、50個を超えたらチェックを停止するという解決策を講じました。セキュリティを犠牲にしてスピードを、安全性を犠牲にしてコストを上げたのです。」
インシデント 1614: 2人の男が、ガリシア州シジェダで22人の女性の性的画像をAIで生成したとされる画像を作成・配布した疑い
“シレダの若者たちから、AIを使って作成された偽のヌード写真に関する苦情が現在18件寄せられている。”
シジェダの若者たちから、人工知能を用いて作成された、自分たちの裸の偽画像が拡散されたとして、18件の苦情が寄せられています。治安警備隊は、捜査は継続中で、現時点では犯人は特定されていないと発表しました。苦情はここ数日、シジェダとラリンの治安警備隊署に寄せられ、捜査はポンテベドラ管区のサイバー犯罪対策班に委ねられています。
被害者たちは同じ友人グループに属しており、そのほとんどが20歳から30歳です。彼らは、デジタルメディアを通じて自分たちの裸の偽画像が拡散されていることを発見しました。このグループはWhatsAppグループも共有しているようです。初期分析によると、これらの写真はディープフェイクと呼ばれる技術を用いて加工されたものです。
この事件は月曜日に発覚しました。被害者たちが偽画像を発見したことがきっかけとなり、苦情が相次ぎ、時間が経つにつれて件数は増加しました。当初は7件の苦情が寄せられていました。火曜日までに8人だった被害者の数は、昨日の朝までに12人に増え、午後には18人に達した。治安警備隊が被害者から事情聴取を行うにつれ、この数はさらに増える可能性がある。
インシデント 1610: クイーンズランド州の男性が、AIが生成したとされる性的なポスターを配布し、女性を性行為のために虚偽の広告を掲載した疑い
“AIディープフェイクとされるポスターに「性行為目的」で掲載された女性たち”
女性の顔が盗まれ、ポルノ画像に貼り付けられ、性行為の広告として利用されていたという「冷酷で悪質な」ディープフェイクキャンペーンが数年にわたって行われていたと、警察は発表した。
ある男が人工知能(AI)を用いて女性を意図せずポルノスターに仕立て上げ、クイーンズランド州南東部の公衆トイレや公園など、日常的な場所に女性の名前と個人情報をポスターに貼り付けていたとして告発されている。
52歳のこの男は、AI技術を使って実在の女性の顔を他人の体に合成し、性的なポーズをとらせ、性行為のサービスを提供していると偽っていたとされる。
偽の広告には、フルネーム、ソーシャルメディアのユーザー名、勤務先情報などが掲載されており、通りがかりにポスターを見た人なら誰でも、事実上、性行為の「リスト」として目にすることにな る。
被害女性の多くは、自分自身でそのポスターを目にすることはなかった。
警察によると、被害女性は友人、近所の人、同僚などに呼び止められ、自分の顔が性行為のポスターに使われていることをひそかに告げられたという。
被害者の中には、小さなコミュニティに住んでいた人もおり、たった一枚の画像が女性の職場、子供の学校、近所の商店など、あらゆる場所にまで及ぶ可能性があったと警察は述べている。
「ポスターには、被害者の顔をAI技術でわいせつな画像に合成し、氏名、職業、居住地などの個人情報も含まれていた」と、イプスウィッチ警察のティム・マーティン警部補代理は金曜日に記者団に語った。
「被害者を公然と辱め、貶めることが目的だった」
警察によると、52歳の男はAIを使ってわいせつな画像を生成し、印刷したポスターを数年にわたって作成・配布していたとみられ、これまでに少なくとも8人の女性が特定されているが、他にも被害者がいる可能性がある。
被害者は40歳から60歳で、母親、娘、同僚、友人などが含まれるが、いずれも画像に写ることや個人情報の使用に同意したことは一度もないと警察は述べている。
警察は5月、クイーンズランド州ロッキヤーバレー地域ガットンにある公共の場所にポスターが掲示されているのを発見し、その存在を知った。
ポスターは他にも複数の場所に掲示されており、2021年まで遡るものもある。
マーティン刑事は、「自分の顔、あるいは愛する人の顔が、露骨な性描写を含むポスターに突然表示されることを想像するだけで、その衝撃を理解できるだろう」と述べた。
「被害者の立場になって考えてみてほしい。母親として、姉妹として、娘として、自分の顔がそのような画像に合成されることを想像してみてほしい」と彼は語った。
「実に冷酷で、実に吐き気を催す行為だ」
捜査官は水曜日、ブリスベン南部のクリーブランドにある男の自宅を捜索し、複数の電子機器、プリンター、そして事前に作成されたAI生成ポスターを押収した。
警察官はまた、電子制御式武器、長銃3丁、弾薬25発を発見し押収した。
男は、わいせつ画像の配布、不法ストーカー行為、銃器関連犯罪、通信サービスを利用した脅迫や嫌がらせなど、43件の罪に問われている。
男は勾留されており、8月19日にブリスベン治安判事裁判所に出廷する予定である。

Researching AI Incidents to Build a Safer Future: The Digital Safety Research Institute partners with the Responsible AI Collaborative
By TheCollab Board of Directors
2024-02-20
The Digital Safety Research Institute (DSRI) of UL Research Institutes is partnering with the Responsible AI Collaborative (TheCollab) to ad...
データベースの紹介
Time Magazine、Vice News、Venture Beat、Wired、Bulletin of the Atomic Scientistsやその他の記事でこのデータベースが紹介されています。
Responsible AI Collaborative
インシデントデータベースはAIインシデントデータベースの推進を目的として設立されたResponsible AI Collaborativeによるプロジェクトです。Collaborativeのガバナンスはこの重要なプログラムの参加者を中心に構成されています。詳細については設立レポートを読んでください。さらに詳しい情報はand learn more on ourにあります

View the Responsible AI Collaborative's Form 990 and tax-exempt application. We kindly request your financial support with a donation.
組織協賛スポンサー
データベース協賛スポンサー

スポンサーと助成
協力スポンサー
AIインシデントブリーフィング

Create an account to subscribe to new incident notifications and other updates.


