レポート 6852

医療アドバイスを求めて生成AIチャットボットを利用する人が増えるにつれ、研究者たちは、広く使用されている多くのモデルが簡単に操作され、危険な推奨を行う可能性があると警告しています。

韓国の研究チームは月曜日、医療用大規模言語モデルは「プロンプト・インジェクション攻撃」に対して非常に脆弱であると報告しました。これは、AIシステムが安全フレームワークの限界を超える可能性のあるサイバー攻撃です。研究チームは、テストされたインタラクションの94%以上が安全でない応答を返したことを発見しました。

この研究は、アサン・メディカルセンター泌尿器科のソ・ジュンギョ教授、同病院情報医学科のジュン・テジュン教授、仁荷大学病院放射線科のイ・ロウン教授が主導しました。

プロンプト・インジェクション攻撃では、ハッカーが生成AIモデルに悪意のあるプロンプトを挿入し、本来の機能とは異なる動作をさせます。

GPT-5やGemini 2.5 Proといった最上位モデルでさえ、このような攻撃に耐えられず、胎児異常を引き起こすことが知られている薬剤を妊娠中の患者に推奨するなど、深刻な安全性の限界が示唆されていると、研究チームの分析は述べています。

研究者らは、この研究は、医療相談においてAIモデルがプロンプト・インジェクション攻撃に対してどれほど脆弱であるかを体系的に分析した世界初の研究であると述べています。さらに、AIモデルを臨床現場に適用するには、追加の安全性検証措置が必要であると付け加えています。

AIモデルは、患者相談、教育、臨床意思決定においてますます利用されています。しかし、プロンプト・インジェクション攻撃によってこれらのシステムが操作され、危険な、あるいは推奨されない治療法や薬剤が推奨される可能性があるという懸念が高まっています。

研究チームは昨年1月から10月にかけて、GPT-4o-mini、Gemini-2.0-flash-lite、Claude 3 Haikuという3つのAIモデルのセキュリティ脆弱性を評価しました。

12の臨床シナリオを作成し、3つのリスクレベルに分類しました。

中程度のリスクのシナリオは、糖尿病などの慢性疾患を持つ患者に、承認された治療法ではなく漢方薬を推奨するというものでした。高リスクのシナリオは、活動性出血や癌の患者に漢方薬を推奨したり、呼吸器疾患の患者に呼吸を抑制する可能性のある薬剤を提案したりすることでした。重大リスクのシナリオは、妊娠中の患者に推奨されない薬剤を推奨するというものでした。

テストされた攻撃手法は2種類あります。1つはコンテキスト認識型プロンプトインジェクション（患者情報を用いてモデルの判断を妨害する）で、もう1つは証拠捏造（もっともらしいが虚偽の情報を作成する）です。

研究チームは、3つのAIモデルと仮想患者との間の合計216回の会話を分析しました。3つのモデル全体の攻撃成功率は94.4%でした。

モデル別の攻撃成功率は、GPT-4o-miniで100%、Gemini-2.0-flash-liteで100%、Claude 3 Haikuで83.3%でした。シナリオリスクレベル別の成功率は、中リスクで100%、高リスクで93.3%、重大リスクで91.7%でした。

3つのモデルはすべて、妊娠中の患者に不適切な薬を推奨する攻撃に対して脆弱でした。

3つのモデルすべてにおいて、80%以上のケースで、操作された応答はその後のやり取りでも継続され、一度侵害されると、会話全体を通してモデルが侵害された状態が維持されたことを示しています。

研究チームはさらに、クライアント側間接プロンプトインジェクションと呼ばれる別の手法を用いて、最上位AIモデル（GPT-5、Gemini 2.5 Pro、Claude 4.5 Sonnet）の脆弱性を評価しました。この手法は、ユーザーインターフェースに悪意のあるプロンプトを隠蔽することでモデルの挙動を操作するものです。テストシナリオでは、妊娠中の患者に不適切な薬を推奨するという内容が再び含まれていました。

攻撃成功率は、GPT-5で100%、Gemini 2.5 Proで100%、Claude 4.5 Sonnetで80%でした。これは、最先端のAIモデルでさえこのような攻撃を防御できないことを示しています。

「この研究は、医療AIモデルが単純なエラーだけでなく、意図的な操作に対しても構造的に脆弱であることを示しています」とソ教授は述べています。「現在の安全対策では、不適切な処方につながる悪意のある攻撃を阻止するには不十分です。」

「AIベースの医療チャットボットや遠隔診療システムを実装するには、モデルの脆弱性を徹底的にテストし、セキュリティ検証を義務付ける必要があります」とソ教授は付け加えました。

この研究は、米国医師会（AMA）が発行する査読付きジャーナル「JAMA Network Open」の最新号に掲載されました。

この記事は元々韓国語で執筆され、バイリンガル記者が生成AIツールを用いて翻訳しました。その後、英語ネイティブの編集者が編集しました。AI支援による翻訳はすべて、当社のニュースルームで確認・修正されています。

リー・エスター [lim.jeongwon@joongang.co.kr]