Incidentes Asociados
Una comunicación reciente de la Oficina del Comisionado de Información y Privacidad de Ontario (IPC) destaca cómo las herramientas basadas en inteligencia artificial, en rápida evolución y ampliamente disponibles, pueden representar importantes riesgos para la privacidad de las organizaciones.
La comunicación en cuestión era una carta dirigida a un hospital anónimo ("el hospital") que había informado a la IPC sobre una filtración de datos. La carta analizaba la filtración, establecía una serie de recomendaciones para el hospital y solicitaba una actualización sobre su respuesta a las recomendaciones para finales de enero de 2026. Si bien la filtración se produjo en el sector sanitario, con sus estrictas leyes de privacidad, las lecciones aprendidas también se extienden a otros sectores.
La filtración implicó el uso de una herramienta de transcripción que muchos médicos utilizan habitualmente para documentar las interacciones médico-paciente. Las herramientas AI Scribe registran y transcriben las interacciones médico-paciente y generan resúmenes aptos para su inclusión en los historiales médicos electrónicos. Estas funciones están diseñadas para aliviar a los médicos de la importante carga administrativa y de toma de notas. Si bien existen muchas herramientas AI Scribe para tareas específicas en el mercado, en este caso se utilizó la herramienta de transcripción Otter.ai, ampliamente disponible, diseñada para su uso en una amplia gama de contextos.
Esta brecha se complicó debido a que la herramienta Otter.ai actuaba como un agente de IA del médico que la había descargado. Los agentes de IA pueden realizar diversas tareas con cierto nivel de autonomía. En este caso, la herramienta puede integrarse con diferentes plataformas de comunicación, así como con el calendario digital del usuario (como Outlook). En esencia, Otter.ai puede escanear el calendario digital de un usuario y unirse a reuniones programadas. La herramienta transcribe y resume la reunión. También puede compartir tanto el resumen como la transcripción con otros participantes, todo ello sin la intervención directa del usuario.
El médico había descargado Otter.ai y le había proporcionado acceso a su calendario más de un año después de dejar el hospital que informó de la filtración. Dado que había utilizado su correo electrónico personal, en lugar del del hospital, para las comunicaciones internas durante su estancia en dicho hospital, su salida en 2023 y la desactivación de su cuenta de correo electrónico del hospital no provocaron la eliminación de su correo personal de las listas de invitación a reuniones. Cuando descargó Otter.ai en septiembre de 2024 y le dio acceso a su calendario digital, seguía recibiendo invitaciones del hospital para las rondas de hepatología. Aunque el médico no asistió a estas rondas tras su salida, su agente de IA sí lo hizo. Asistió a una reunión en septiembre de 2024, elaboró una transcripción y un resumen de la reunión y envió el resumen por correo electrónico con un enlace a la transcripción completa a las 65 personas invitadas. Presuntamente, la filtración fue reportada al hospital por uno o más de los destinatarios del correo electrónico. Siete pacientes habían sido atendidos durante las rondas de hepatología, y la transcripción y el resumen contenían su información médica personal confidencial.
El hospital tomó medidas inmediatas para abordar la filtración. Canceló la invitación digital al médico y contactó a todos los destinatarios del resumen y la transcripción para solicitarles que eliminaran de inmediato todas las copias del correo electrónico fraudulento y los archivos adjuntos. También envió un aviso a todo el personal recordándoles que no se les permite usar herramientas no aprobadas con sus credenciales o dispositivos hospitalarios. Contactó al médico que había usado Otter.ai y se aseguró de que eliminara todas las conexiones digitales con el hospital. También le solicitaron que contactara a Otter.ai para solicitar que se eliminara de sus sistemas toda la información relacionada con la reunión. El hospital también notificó a los pacientes afectados por la filtración. Para prevenir futuras filtraciones, el hospital creó cortafuegos para bloquear el acceso in situ a herramientas de transcripción no aprobadas, actualizó sus materiales de capacitación para abordar el uso de herramientas no aprobadas y revisó su política de Uso Adecuado de la Información y las Tecnologías de la Información. La política revisada enfatiza la importancia de utilizar únicamente los recursos de TI aprobados por el hospital. También recomienda la revisión periódica de las listas de participantes en las reuniones para garantizar que no se incluyan herramientas de IA ni agentes automatizados. Además de estas medidas, el Comité de Prevención de Infracciones (CPI) formuló recomendaciones adicionales, como que el propio hospital se pusiera en contacto con Otter.ai para solicitar la eliminación de cualquier información del paciente que pudiera haber conservado. Doce de los sesenta y cinco destinatarios de los correos electrónicos no habían confirmado su eliminación, y el CPI recomendó que el hospital hiciera un seguimiento para garantizar que se hubiera realizado. También se recomendó actualizar el protocolo de incumplimiento del hospital, así como modificar los procedimientos de baja para garantizar que el acceso a los sistemas de información del hospital se revoque inmediatamente cuando el personal deje el hospital. El CPI también recomendó el uso obligatorio de salas de reuniones para todas las reuniones virtuales, de modo que no se permita el acceso a agentes de IA no autorizados.
Este incidente pone de relieve algunos de los importantes desafíos que enfrentan los hospitales, así como muchas otras organizaciones, con el desarrollo de herramientas de IA generativas y agénticas ampliamente disponibles. Si bien antes las herramientas sofisticadas y potentes en el lugar de trabajo eran más fáciles de controlar por el empleador, cada vez es más frecuente que los empleados tengan acceso independiente a dichas herramientas. El uso de IA en la sombra es una preocupación creciente para las organizaciones, ya que puede suponer riesgos inesperados, incluso inadvertidos, para la privacidad y la confidencialidad de la información. La rápida evolución de las herramientas de IA de agencia, con su capacidad de actuar de forma independiente, también puede plantear desafíos, especialmente cuando los empleados no están completamente familiarizados con todas sus funciones o configuraciones predeterminadas.
Las asociaciones médicas y las oficinas de los comisionados de privacidad han comenzado a desarrollar directrices para el uso de los escribas de IA en la práctica médica (véase, por ejemplo, la guía de las OIPC de Saskatchewan y Alberta. El Departamento de Salud de Ontario incluso ha desarrollado una lista de proveedores de transcripción de IA aprobados, que considera que cumplen con los estándares de privacidad y seguridad. Sin embargo, la herramienta adoptada en este caso fue diseñada para todos los contextos y está disponible tanto en versiones gratuitas como de pago, lo que no hace más que poner de relieve los riesgos y desafíos en este ámbito. La amplia disponibilidad de estas herramientas plantea importantes problemas de gobernanza para las organizaciones preocupadas por la privacidad y la seguridad. Incluso cuando una organización se suscribe a una herramienta específica adaptada a sus propios estándares de privacidad y seguridad, los empleados siguen teniendo acceso a muchas otras herramientas que podrían ya utilizar en otros contextos. Debe considerarse el riesgo de que un empleado simplemente decida utilizar una herramienta con la que ya está familiarizado y con la que se siente cómodo.
Las herramientas de transcripción más genéricas también pueden suponer otros riesgos en el contexto médico, ya que no están específicamente capacitadas ni diseñadas para un contexto particular como el sanitario. Por ejemplo, podrían ser menos hábiles con la terminología médica, los nombres de los medicamentos recetados u otros términos técnicos. Esto podría aumentar la incidencia de errores en las transcripciones o resúmenes.
El riesgo de que los datos recopilados mediante herramientas no autorizadas se utilicen para entrenar sistemas de IA también pone de relieve las posibles consecuencias para la privacidad y la confidencialidad. Según la Ley de Protección de la Información Personal de Salud de Ontario (PHIPA) (https://www.canlii.org/en/on/laws/stat/so-2004-c-3-sch-a/229761/so-2004-c-3-sch-a.html), un custodio de atención médica no está autorizado a compartir información personal de salud con terceros sin el consentimiento expreso del paciente. No se permite el uso de transcripciones o grabaciones de voz relacionadas con la atención médica para entrenar sistemas de IA de terceros sin este consentimiento expreso. Aunque algunos servicios indican que solo utilizan información "desidentificada" para la capacitación del sistema, es posible que el término "desidentificado" no se defina de la misma manera que en la PHIPA. Por ejemplo, eliminar todos los identificadores directos (nombres, números de identificación, etc.) no se considera desidentificación según la PHIPA, que exige que, además de la eliminación de todos los identificadores directos, también sea necesario eliminar la información "que sea razonablemente previsible, dadas las circunstancias, que pueda utilizarse, ya sea sola o junto con otra información, para identificar a la persona".
Este incidente pone de relieve la vulnerabilidad de la información personal sensible en un contexto de proliferación de herramientas tecnológicas novedosas (y en constante evolución) para uso personal y profesional. Las organizaciones deben actuar con rapidez para evaluar y mitigar los riesgos, lo que requerirá la participación regular del personal y su capacitación.
Nota: Puede encontrar una versión preimpresa de mi artículo de investigación con Daniel Kim sobre los Escribas de IA aquí.
Esta publicación también está disponible en mi blog: teresascassa.ca