アダム・ハート氏は、ネバダ州ヘンダーソンにあるセント・ローズ・ドミニカン病院で14年間看護師として働いています。数年前、救急科の助手として配属された際、救急車が到着したばかりの患者（危険な低血圧を呈する高齢女性）に関する通報を聞いていたところ、病院の電子システムに敗血症の警告灯が点灯しました。
敗血症は、感染症に対する生命を脅かす反応で、米国の病院における主要な死因の一つであり、早期治療が不可欠です。この警告灯を受け取った主任看護師は、ハート氏に直ちに患者を病室に搬送し、バイタルサインを測定し、点滴（IV）を開始するよう指示しました。これは手順通りの処置でした。救急室では、迅速さが求められることが多いからです。
しかし、ハート氏が女性を診察すると、鎖骨の下に 透析カテーテルが挿入されていることに気付きました。腎臓の機能が低下していたのです。彼は、日常的に大量のIV液が投与されると、全身の組織に負担がかかり、最終的には肺にまで達する可能性があると警告しました。病院の人工知能システムが敗血症のアラートを発していたため、担当看護師はとにかくそうするように彼に言った。ハートは拒否した。
医師がエスカレートする会話を耳にして介入した。医師は輸液の代わりに、患者の血圧を上げるためにドーパミンを投与した。輸液は体液量を増やすことなく投与したのだ。ハートは、これが命に関わる合併症につながる可能性があったと考えた。
ハートの心に残ったのは、AIが生成したアラートが作り出した演出だった。画面が緊急性を促し、それが手順書によって指示へと変わった。臨床的推論に基づくベッドサイドでの異議申し立ては、少なくともその瞬間は、反抗的な行為と受け止められた。誰も悪意を持って行動していたわけではない。それでも、目の前の証拠――患者と彼女の弱った腎臓――が正反対のことを要求していたにもかかわらず、AIは彼らに従わせようとしたのだ。 （病院の広報担当者は、具体的な事例についてはコメントできないとしながらも、AIを「ケアチームの専門知識と判断に取って代わるものではなく、それをサポートする多くのツールの一つ」と捉えていると述べた。）
こうした動きは、米国の医療現場では一般的になりつつある。ここ数年、病院はアルゴリズムモデルを日常診療に取り入れてきた。臨床ケアは、患者の症状を厳格なプロトコルと照らし合わせることに依存することが多く、自動化には理 想的な環境となっている。疲弊した医療従事者にとって、文書作成などの日常業務をAIに任せることの魅力は否定できない。
すでに導入されている技術は、単純なリスクスコアを計算する予測モデルから、自律的な意思決定を可能にするエージェントAIまで多岐にわたる。エージェントAIは、システムが患者の酸素流量を調整したり、救急室のトリアージキューの優先順位を変更したりすることを、ほとんど人間の介入なしに可能にする。数ヶ月前にユタ州で開始されたパイロットプロジェクトでは、エージェント機能を備えたチャットボット技術を用いて処方箋の更新を行っている。この取り組みの支持者は、この取り組みによって医療従事者の時間的余裕が生まれると主張しているが、医師会は人間の監視の排除に反対している。全国の医療システムが同様のツールを活用し、リスクのフラグ付け、患者の診察時の音声モニタリング、臨床記録の作成、ウェアラブルデバイスによる患者のモニタリング、臨床試験への参加マッチング、さらには手術室や集中治療室への搬送管理までを行っています。
＞ 看護師たちは、不完全な製品が政策となり、ひいては自らの問題となる可能性を目の当たりにしました。
医療業界は真に継続的なケアというビジョンを追求しています。それは、医療記録（臨床検査結果、画像、記録、投薬）と人口データ、そしてウェアラブルデバイスや食事記録などを用いて患者が自ら生成するデータを組み合わせることで、診察と診察の間も患者を追跡する意思決定インフラです。このインフラは、重要な変化を監視し、ガイダンスやプロンプトを送信し、人間の介入が必要 な症例をフラグ付けします。支持者たちは、このようなデータ集約型の常時監視は、人間の医療提供者の認知能力を超えていると主張しています。
臨床医は常にAIを自動操縦ではなく、膨大なデータの意味を理解するためのツールとして活用し、状況を把握する必要があると主張する人もいます。昨年、スタンフォード大学医学部は、臨床医が患者の医療記録と「チャット」できるツール「ChatEHR」を導入しました。ある医師は、このツールががん患者の記録に埋もれていた重要な情報を発見し、6人の病理医を含むチームが確定診断を下すのに役立ったと語りました。「これがEHRの価値を証明しないのであれば、何が証明するのか分かりません」と医師たちは述べています。
同時に、ニューヨーク市にあるメモリアル・スローン・ケタリングがんセンターの最高戦略責任者であるアナーズ・オフォディール氏によると、多くの病院の現場では、こうしたデジタル化の約束はしばしば破綻しています。彼は、欠陥のあるアルゴリズム、不適切な実装、低い投資収益率が、一部のプロジェクトを停滞させていると指摘しています。現場では、患者のケアを担う看護師が、検証されていないツールに対する警戒心を強めています。こうした摩擦は、病棟から現場へと広がっています。過去2年間、カリフォルニア州とニューヨーク市の看護師たちは、規制されていないアルゴリズムツールが医療システムに流入していることに注目を集めるため、デモ活動を行ってきました。病院がAIに投資している一方で、ベッドサイドのスタッフは依然として危険なほど不足していると主張しています。
敗血症予測は警鐘を 鳴らす事例となっています。全米の病院は、情報医療技術企業Epicの敗血症予測アルゴリズムを広く導入しました。その後の評価では、市場から発表された精度よりも大幅に低いことが判明しました。Epic社によると、臨床現場での研究で同社の敗血症モデルが治療成績を改善したことが示されており、その後、より優れた性能を誇ると主張する第2版をリリースしました。しかし、看護師たちは、不完全な製品が政策となり、ひいては自らの問題となる可能性を目の当たりにしました。
2024年の看護調査によると、燃え尽き症候群、人員不足、職場での暴力の増加により、看護師の労働力はすでに減少しています。こうした圧力は昨年11月、ニューヨーク市庁舎の階段にも波及し、ニューヨーク州看護師協会のメンバーが結集し、市議会の病院委員会で証言を行いました。彼らは、ニューヨーク市内の大手民間システムの一部が幹部やAIプロジェクトに資金を注ぎ込んでいる一方で、病院部門は依然として人員不足に陥り、看護師は安全リスクの増大に直面していると主張した。この記事が印刷される直前の1月中旬、ニューヨーク市の病院システムで働く1万5000人の看護師が、より安全な人員配置と職場の安全確保を求めてストライキを起こしていた。
AIを活用した新しいモニタリングモデルは、他の業界でAIが導入したのと同じような誇大宣伝とともに病院に導入されることが多い。2023年、カリフォルニア大学デービス校（UCデービス・ヘルス）は、腫瘍内科の骨髄移植ユニットに「変革をもたらす」と称してバイオボタンを導入した。このデバイスは、患者の胸に装着する小さな六角形のシリコンセンサーで 、心拍数、体温、呼吸パターンなどのバイタルサインを継続的に追跡する。
現場では、看護師が解釈しにくいアラートが頻繁に発生していた。UCデービス校で17年間勤務する正看護師のメリッサ・ビーブ氏にとって、これらのアラームから得られる実用的なデータはほとんどなかった。 「ここが本当に問題だったんです」と彼女は言う。「曖昧だったんです」。通知はバイタルサインの変化を知らせるだけで、具体的な内容は示さなかった。
ビーブさんは、どこにも繋がらないアラームに従うことが多かったと言う。「『この患者さんに何か異常があるので様子を見たい』という独自の内部アラートを設定しているのですが、バイオボタンが勝手に作動してしまうんです。やり過ぎなくらいで、本当に役立つ情報を提供してくれませんでした」
カリフォルニア看護師協会の組合代表として、カリフォルニア大学デービス校保健センターで働くビーブさんは、組合の契約で認められている通り、機器導入前に病院幹部との正式な協議を要請した。「とにかく大げさに宣伝されていて、『これはすごい！ こんなに画期的なのに、これを導入できるなんて本当に幸運じゃないですか？』と言われたんです」と彼女は言う。自分や他の看護師が疑問を投げかけると、テクノロジーに抵抗しているように思われると感じていた。「私は『なぜ？』を重視する看護師です。何かを理解するには、『なぜ？』を知らなければなりません。なぜ私はこれをやっているのか？」
看護師たちの懸念の中には、このデバイスが様々な体型にどのように作用するのか、そしてアラートにどれくらい早く反応する必要があるのか、といった点がありました。ビーブ氏によると、経営陣には明確な答えがほとんどなかったそうです。その代わりに、看護師たちは、このデバイスが出血性脳卒中の早期発見に役立つ可能性があると説明されました。彼女の病棟では、出血性脳卒中の患者は特にリスクが高いのです。「しかし問題は、心拍数、体温、呼吸数といった脳卒中の兆候は、かなり遅い段階で現れるということです」と彼女は言います。「その時点では、死に瀕しているようなものです」。出血性脳卒中の早期兆候としては、患者を目覚めさせることの難しさ、ろれつが回らない、バランス感覚の低下などが挙げられます。「これらはどれもバイオボタンの指標ではありません」。
最終的に、カリフォルニア大学デービス校ヘルスは約1年間の試験運用の後、バイオボタンの使用を中止したとビーブ氏は言います。「重症でこの種のアラートの恩恵を受ける患者の場合、看護師ははるかに早くそれに気付いていたのです」と彼女は説明します。 （カリフォルニア大学デービス校ヘルスは声明の中で、既存のモニターと並行してBioButtonを試験運用したが、アラート機能が既存のモニタリングに比べて明確な利点を示さなかったため、最終的には採用を見送ったと述べています。）
ビーブ氏は、長年の訓練と経験、そして微妙な感覚や技術機器からの信号によって形成される臨床判断は自動化できないと主張しています。「『この患者さんの容態がおかしい』という感覚を何度感じたか分かりません。もしかしたら、患者さんの肌の見た目や感触が原因かもしれません。」カリフォルニア州モデストのカイザー・パーマネンテ病院 で13年間集中治療室の看護師として働くエルベン・ミッチェル氏も、この見解に同意しています。「患者さんを一目見ただけで、容態が良くないことがわかることがあります。検査室でもモニターでも、それは分かりません」と彼は言います。「私たちには五感があり、コンピューターは入力情報しか受け取りません。」
臨床ケアは、患者の症状を厳格なプロトコルと照合することが多く、自動化には理想的な環境です。
専門家によると、アルゴリズムは臨床判断を補強することはできますが、置き換えることはできません。「モデルが医療提供者が保有するすべてのデータにアクセスすることはできません」と、カリフォルニア大学バークレー校公衆衛生学部のブルークロス・オブ・カリフォルニア名誉准教授、ジアド・オーバーマイヤー氏は述べています。モデルは主に電子カルテを分析していますが、すべてがデジタルファイルに保存されているわけではありません。「そして、デジタルファイルには、患者が質問にどのように答えているか、どのように歩いているかなど、非常に重要な情報が含まれています。医師や看護師が患者について見て理解している、こうした微妙な情報がすべて含まれています。」
病院の緊急対応チームにも所属するミッチェル氏は、同僚たちがアラートを信頼するのに苦労していると語ります。ミッチェル氏は、集中監視チームが生成するアラートの約半分は誤検知だと推定している。しかし、病院の方針ではベッドサイドスタッフが一つ一つ評価する必要があるため、看護師は既に高リスクとフラグ付けされている患者から遠ざかっている。（カイザー・パーマネンテは声明の中で、同社のAIモニタリングツールは臨床医を支援するためのものであり、意思決定はケアチームに委ねられており、システムは厳密にテストされ、継続的に監視されていると述べている。）
「50年後にはもっと有益になるかもしれないが、現状では、うまく機能させようとしているシステムだ」とミッチェル氏は言う。医療判断は極端な場合には生死に関わる可能性があるため、この分野への規制強化を望んでいる。
この記事のためのインタビューを通して、看護師たちは一貫して、病院におけるテクノロジーに反対ではないことを強調した。多くの看護師は、慎重に検証され、ケアの改善が実証されているツールは歓迎すると述べた。看護師たちが警戒しているのは、実臨床でのパフォーマンスが期待に応えられない、大々的に宣伝されているAIモデルの急速な導入だと彼らは主張する。検証されていないツールの導入は、永続的な影響を及ぼす可能性があります。「臨床医や医療提供者の世代に不信感を抱かせている」と、専門家への影響を懸念して匿名を条件に語ったある専門家は警告しています。
懸念は民間ベンダーだけにとどまりません。ニューヨーク州看護師協会の会長であり看護師でもあるナンシー・ヘイガンズ氏は、病院自体がかつて新しい医療技術の導入を規制していた安全対策を回避している場合もあると述べています。
リスクは単なる理論上のものではありません。バークレー公衆衛生大学院の教授であるオーバーマイヤー氏は、患者ケアで使用されている一部のアルゴリズムが人種差別的であることが判明しました。「これらのアルゴリズムは、毎年約1億人から1億5000万人の人々が、この種の意思決定を行うためのスクリーニングに使用されているため、非常に広範囲に及んでいます」とオーバーマイヤー氏は述べます。「こうしたアルゴリズムが導入され、重要な意思決定に影響を与える前に、なぜそれを検知するシステムがないのかという疑問が生じます」とオーバーマイヤー氏は付け加え、医療分野におけるAIツールの導入を医薬品開発に例えています。医薬品とは異なり、AIには単一のゲートキーパーが存在せず、病院はしばしば独自にツールの妥当性を検証せざるを得ません。
ベッドサイドでは、不透明性が影響を及ぼします。アラートの説明が困難な場合、その影響は依然として医師の責任となります。デバイスが患者ごとに異なる動作をする場合（一部の患者を見逃し、他の患者を過剰に警告する場合など）、医師もその影響を負うことになります。
AIをめぐる誇大宣伝は、事態をさらに複雑化させています。ここ数年、医師と患者のやり取りを記録し、診察内容を記録する臨床記録を作成するAIベースの聴診ツールが医療現場に急速に普及しました。多くの医療機関が、医師の時間を節約できると期待してこれらのツールを購入しました。多くの医療従事者は、患者との会話中にメモを取る必要がなくなることを喜んでいますが、新たなエビデンスによると、効率性の向上は限定的である可能性があります。研究では、1日あたりわずかしか節約できないものから最大22分まで、時間の節約効果が報告されています。 「誰もが『魔法のようだ。何時間も節約できる』と言って、慌てて導入しました。しかし、その節約効果は 現実には現れませんでした」と、スタンフォード大学医学部教授でスタンフォード・ヘルスケアのチーフデータサイエンティストであるニガム・シャー氏は語る。「1日6分を節約することの投資収益率はどれくらいでしょうか？」
同様の経験から、一部の一流機関はアルゴリズムツールを外部企業にのみ依存することに慎重になっている。数年前、スタンフォード・ヘルスケア、ニューヨーク市のマウントサイナイ・ヘルスシステムなどは、AI開発を社内で行い、独自のツールを開発し、ベンダーのツールをテスト、調整し、臨床医に提示できるようにした。「これは、医療AIを、購入するコモディティ技術ではなく、組織全体の能力として戦略的に再定義するものです」とシャー氏は言う。マウントサイナイでは、この変化はアルゴリズム自体への依存度を下げること、そして医療従事者との信頼関係を築き、新しいツールをワークフローに組み込むことに重点を置いていることを意味する。
AIツールは、単にスコアを提示するだけでなく、なぜ何かを推奨するのかを説明し、アラートをトリガーした具体的なシグナルを特定する必要がある。ジョンズ・ホプキンス大学ジョン・C・マローン准教授（コンピューターサイエンス）であり、同大学の機械学習・ヘルスケア研究所所長であるスチ・サリア氏は、病院は人間と機械のインタラクションに注意を払う必要があると述べている。AIモデルは、よりよく訓練されたチームメンバーのように機能するべきだとサリア氏は主張する。「新しいチームメンバーが混乱を招けば、うまく機能しません。人々はそれを使いません」とサリア氏は言う。「新しいメン バーが理解不能なら、人々はそれを使いません」
しかし、多くの機関は、患者ケアに使用する新しいAIツールの検討や構築において、看護師やその他の最前線のスタッフに相談したり、共同で開発したりしていない。「よくあることです」とスタンフォード大学のシャー氏は言う。彼は、当初データサイエンスチームに看護師ではなく医師を配置していたが、大学の看護部長から反対されたことを思い出す。彼は現在、看護師の視点が不可欠だと考えている。 「まず看護師に、次に医師に尋ねてください。医師と看護師の意見が食い違っても、看護師を信じてください。看護師は真に何が起こっているかを知っているからです」と彼は言います。
AIツールの開発プロセスにより多くのスタッフを参加させるため、一部の施設ではトップダウンアプローチに加えてボトムアップアプローチを導入しています。「優れたアイデアの多くは、業務に最も近い人々から生まれます。そこで、社内の誰もがアイデアを提案できるプロセスを作りました」と、元ベッドサイド看護師で現在はマウントサイナイ病院の最高デジタル変革責任者を務めるロビー・フリーマン氏は言います。ある創傷ケア担当の看護師が、床ずれが発生しやすい患者を予測するAIツールを開発するという素晴らしいアイデアを思いつきました。フリーマン氏によると、このプログラムの導入率が高いのは、その看護師が同僚を熱心に指導しているからだそうです。
フリーマン氏によると、目標は臨床判断に取って代わることではなく、臨床医が実際に使用するツール、つまり自ら説明できるツールを構築することだと言います。看護師が求 めるアラートは、信頼できないデジタルマネージャーではなく、より注意深く観察するためのきっかけとなるのです。
マウントサイナイの心臓カテーテル検査室に、昨年、新たなフロンティアが到来しました。それは、「Sofiya」と呼ばれる新しいエージェントAIシステムです。ステント留置手術の前に看護師が患者に電話をかけ、指示や質問に答える代わりに、Sofiyaが電話をかけるようになりました。カテーテル検査室長のアナプールナ・キニ氏によると、このAIエージェントは「柔らかく落ち着いた」声で設計され、実物大のプロモーション用切り抜きにはスクラブを着た女性モデルとして描かれています。マウントサイナイは5ヶ月で200時間以上の看護時間を節約できたとのことです。しかし、Sofiyaの働きに賛同しない看護師もいます。昨年11月のニューヨーク市議会で、マウントサイナイで37年間看護師として働くデナッシュ・フォーブス氏は、Sofiyaの働きは正確性を確保するために看護師によるチェックが必要だと証言しました。
フリーマン氏でさえ、このエージェントAIが統合されたシームレスな体験を提供するまでには「まだ道のりは長い」と認めています。あるいは、失敗に終わったAI実験の仲間入りをすることになるかもしれません。業界が自律エージェントの効率性を追求する中で、アルゴリズムをテストするためのインフラが必要です。今のところ、患者の安全はAIが再現できないもの、つまり人間の臨床医の直感にかかっています。患者の肺を守るためにデジタルの判断を拒否したアダム・ハート氏の場合のように、AI時代の看護師の究極の価値は、指示に従う能力ではなく、それを無視 する意志にあるのかもしれません。