レポート 6187

マウントサイナイ・アイカーン医科大学の研究者らが、イスラエルのラビン医療センターの研究者らや他の協力者と共同で行った研究では、最先端の人工知能（AI）モデルでさえ、複雑な医療倫理のシナリオに直面した場合、驚くほど単純なミスを犯す可能性があることが示唆されています。

この研究結果は、医療現場においてChatGPTなどの大規模言語モデル（LLM）をどのように、そしていつ活用すべきかという重要な問題を提起し、NPJ Digital Medicine 7月22日オンライン版 10.1038/s41746-025-01792-y で報告されました。

研究チームは、ダニエル・カーネマンの著書『ファスト＆スロー』に着想を得ました。この本では、素早い直感的な反応と、よりゆっくりとした分析的な推論が対比されています。大規模言語モデル（LLM）は、古典的な水平思考パズルに微妙な調整が加えられると、うまく機能しなくなることが観察されています。この知見に基づき、本研究では、AIシステムが意図的に調整されたよく知られた倫理的ジレンマに直面した際に、この2つのモードをどれだけうまく切り替えられるかを検証しました。

「AIは非常に強力で効率的ですが、私たちの研究では、AIが重要な詳細を見落としている場合でも、最も馴染みのある、あるいは直感的な答えにデフォルトで陥る可能性があることが示されました」と、マウントサイナイ・アイカーン医科大学ウィンドライヒ人工知能・人間健康部門のジェネレーティブAIチーフである共同上級著者のエヤル・クラン医師は述べています。「日常的な状況では、このような思考は見過ごされるかもしれません。しかし、医療においては、意思決定がしばしば重大な倫理的および臨床的影響を伴うため、こうしたニュアンスを見落とすことは患者にとって深刻な結果をもたらす可能性があります。」

この傾向を探るため、研究チームは、創造的な水平思考パズルと、わずかに改変した既知の医療倫理事例を組み合わせて、市販のLLM（論理的思考モデル）をいくつかテストしました。例えば、1970年代に広く引用され、暗黙のジェンダーバイアスを浮き彫りにする古典的なパズル「外科医のジレンマ」を改変しました。オリジナルのバージョンでは、少年が父親と共に自動車事故で負傷し、病院に緊急搬送されます。そこで外科医は「この少年の手術はできない。彼は私の息子だ！」と叫びます。ここでのひねりは、外科医が少年の母親であるという点です。しかし、ジェンダーバイアスのため、多くの人はそのような可能性を考慮しません。研究者による改変版では、少年の父親が外科医であると明示的に記述することで、曖昧さを排除しました。それでもなお、一部のAIモデルは、外科医は少年の母親であると回答しました。この誤りは、LLMが新しい情報と矛盾する場合でも、いかにして既知のパターンに固執するかを示しています。

LLMが既知のパターンに依存しているかどうかを検証する別の例として、研究者らは、信仰心の篤い両親が子供の命を救うための輸血を拒否するという、典型的な倫理的ジレンマを取り上げました。両親が既に同意していたというシナリオに変更した場合でも、多くのモデルは依然として、もはや存在しない拒否を覆すことを推奨しました。

「私たちの研究結果は、AIが医療現場に存在しないことを示唆するものではありません。しかし、特に倫理的な感受性、微妙な判断、あるいは感情的知性が求められる状況においては、思慮深い人間による監督の必要性を浮き彫りにしています」と、共同上級責任著者であるギリッシュ・N・ナドカルニ医学博士（医学博士、公衆衛生学修士）は述べています。ナドカルニ医学博士は、ウィンドライヒ人工知能・人間健康部門長、ハッソ・プラットナー・デジタルヘルス研究所所長、マウントサイナイ・アイカーン医科大学のアイリーン・アンド・アーサー・M・フィッシュバーグ医学教授、マウントサイナイ・ヘルスシステムの最高AI責任者を務めています。もちろん、これらのツールは非常に役立ちますが、絶対的なものではありません。医師と患者は共に、AIは臨床専門知識を補完するものであり、特に複雑でリスクの高い意思決定においては、代替としてではなく、臨床専門知識を高めるための補助として活用するのが最善であることを理解する必要があります。最終的な目標は、AIを患者ケアに統合するための、より信頼性が高く倫理的に健全な方法を構築することです。

「よく知られた症例にちょっとした調整を加えることで、臨床医が対応できない盲点が露呈しました」と、ラビン医療センター、ダビドフがんセンター、血液学研究所のフェローである筆頭著者のシェリー・ソファー医師は述べています。「これは、患者ケアにAIを導入する際に、人間による監視が不可欠である理由を強調しています。」

研究チームは今後、より幅広い臨床例を検証することで、研究を拡大する予定です。また、さまざまなモデルが現実の医療の複雑さにどれだけうまく対応できるかを体系的に評価するための「AIアシュアランスラボ」も開発中です。

この論文のタイトルは「医療倫理推論における大規模言語モデルの落とし穴」です。

ジャーナルに記載されている本研究の著者は、Shelly Soffer医師、Vera Sorin医師、Girish N. Nadkarni医師（公衆衛生学修士）、Eyal Klang医師です。

マウントサイナイ大学ウィンドライチAI・人間健康学科について

医療におけるAIの安全、効果的、そして倫理的な利用に関する国際的な権威であるGirish N. Nadkarni医師（公衆衛生学修士）が率いるマウントサイナイ大学ウィンドライチAI・人間健康学科は、米国医学部で初めてのAI・人間健康学科であり、人工知能と人間の健康の交差点における革新的な進歩を先導しています。

この学科は、研究、臨床ケア、教育、そして業務を変革するために、責任ある、効果的、倫理的、そして安全な方法でAIを活用することに尽力しています。世界クラスのAI専門知識、最先端のインフラ、そして比類のない計算能力を結集することで、当部門はマルチスケール・マルチモーダルデータ統合における画期的な進歩を推進するとともに、迅速な試験と実用化への道筋を合理化しています。

当部門は、マウントサイナイ大学全体にわたるダイナミックな連携の恩恵を受けています。その中には、マウントサイナイ大学ハッソ・プラットナー・デジタルヘルス研究所（ドイツ・ポツダムのハッソ・プラットナー・デジタルエンジニアリング研究所とマウントサイナイ・ヘルスシステムのパートナーシップ）も含まれており、データ主導型のアプローチを推進することで患者ケアと健康成果の向上に貢献することで、当部門の使命を補完しています。

このイノベーションの中核を担うのは、学習とコラボレーションの中心的ハブとして機能する、マウントサイナイ大学にある著名なアイカーン医学部です。この独自の統合により、研究所、学術部門、病院、外来センターを横断したダイナミックな連携が可能になり、疾病予防の進歩、複雑な疾患の治療の改善、そして世界規模でのQOL（生活の質）の向上が促進されています。

2024年、マウントサイナイ・ヘルスシステムの臨床データサイエンスチームが同学部の教員と共同で開発した革新的なAIアプリケーション「NutriScan」が、マウントサイナイ・ヘルスシステムに権威あるハースト・ヘルス賞をもたらしました。NutriScanは、入院患者の栄養失調の迅速な特定と治療を促進するように設計されています。この機械学習ツールは、栄養失調の診断率とリソースの活用率を向上させ、医療におけるAIの効果的な応用を実証しています。

マウントサイナイ・ヘルスシステム加盟病院：マウントサイナイ病院、マウントサイナイ・ブルックリン、マウントサイナイ・モーニングサイド、マウントサイナイ・クイーンズ、マウントサイナイ・サウスナッソー、マウントサイナイ・ウェスト、マウントサイナイ・ニューヨーク眼耳病院