Bienvenido ala base de datos de incidentes de IA
Incidente 1695: Según informes, un transcriptor médico con inteligencia artificial añadió una falsa afirmación sobre el uso de hongos psicodélicos al historial médico de la paciente australiana Rebecca Green.
“Un error cometido por un transcriptor de IA durante una cita médica deja al paciente devastado.”
La inteligencia artificial está escuchando las consultas médicas de muchas personas, pero no siempre interpreta correctamente la información.
Cuando Rebecca Green llegó a su primera cita con un urólogo, le preguntaron si consentía que la consulta fuera transcrita por inteligencia artificial (IA).
Respondió que sí sin dudarlo.
"No quiero caerle mal ni ser esa paciente molesta que le quita más tiempo", dijo.
Pero esa decisión le causaría mucho estrés, ya que la IA transcribió la grave pero falsa afirmación de que la Sra. Green consumía drogas ilegales.
"Me quedé atónita y lloré... inventó que consumo setas [psicodélicas]. Nunca he consumido setas en mi vida", dijo.
Una nueva investigación de una organización de protección de la privacidad ha suscitado serias preocupaciones sobre el uso de la IA en entornos médicos debido a su propensión a "alucinar" síntomas o afecciones falsas, y advierte que los pacientes corren riesgos.
La Sra. Green solo se percató del error después de su cirugía de cálculos renales en marzo, cuando leyó la carta posoperatoria que su especialista envió a su médico de cabecera.
En ella se indicaba que la Sra. Green había consumido microdosis de hongos y que esa podría ser la causa del sangrado previo alrededor de los riñones.
"Que esta carta dijera algo sin fundamento científico, pero que podría tener graves consecuencias para mí… fue bastante aterrador", declaró.
"Me pareció muy impersonal. No recibí la atención ni la familiaridad del médico que esperaba en una situación tan vulnerable".
La Sra. Green estaba particularmente estresada, ya que recibía una indemnización laboral y temía que cualquier mención de drogas ilegales en su historial médico pudiera afectar su caso.
El principal organismo regulador de los profesionales médicos de Australia, AHPRA, afirmó que los médicos deben verificar siempre la exactitud de toda la información proporcionada por un transcriptor de IA para garantizar el cumplimiento de sus obligaciones profesionales. La Sra. Green aseguró que era evidente que su médico no lo había hecho.
«Si hubiera revisado esa carta, habría podido corregirla antes de enviarla… ¿Por qué no está al tanto de cada uno de sus pacientes y de lo que sucede?»
Tras la queja de la Sra. Green, la uróloga envió una carta de disculpa.
«Le aseguramos que nos tomamos muy en serio la precisión de nuestra documentación y lamentamos profundamente lo ocurrido», decía la carta.
La doctora afirmó no haber podido determinar cómo se incluyó la información sobre los hongos, pero parecía deberse a un error durante el proceso de dictado o transcripción.
La uróloga corrigió la correspondencia y en su carta indicó que revisaría el uso de la IA en su práctica.
La doctora no respondió a las preguntas de la ABC sobre qué cambios, si los hubo, se han realizado desde entonces.
La IA confunde qué mama tiene cáncer
La Sra. Green se siente afortunada de haber detectado el error, pero le preocupa que algunas personas no sean conscientes de los errores en su historial médico, lo que podría tener repercusiones en su salud, su carrera o su seguro.
Esta semana, la ABC reveló casos en los que las aseguradoras de salud privadas solicitaban a los proveedores el historial clínico completo de sus pacientes como parte de prácticas de auditoría "agresivas".
Los asistentes de transcripción con IA se han generalizado en el sector sanitario. El Real Colegio Australiano de Médicos de Familia (RACGP) estimó el año pasado que el 40 % de los médicos de familia los utilizaban con regularidad, pero esta cifra se consideró conservadora.
Las investigaciones demuestran que la transcripción de citas con IA puede reducir la carga administrativa de los médicos de familia y permitirles centrarse más en sus pacientes, en lugar de en el ordenador.
Pero cada beneficio conlleva riesgos.
Un informe reciente del grupo de defensa de los derechos digitales Digital Rights Watch (DRW) reveló que los australianos estaban expuestos a asistentes médicos con IA no regulados, a veces sin su consentimiento, y que los errores podrían alterar la toma de decisiones clínicas.
Entre los ejemplos de errores encontrados en el informe de DRW se incluye un caso en el que un asistente registró el seno equivocado en un diagnóstico de cáncer de mama e indicó que una paciente padecía epilepsia, cuando no era así.
La directora ejecutiva del Foro de Salud del Consumidor de Australia, Elizabeth Deveny, afirmó que a menudo recibe quejas sobre la IA que confunde palabras y que los pacientes solo se enteran por casualidad.
"La gente expresa frustración tanto por encontrar la fuente original del error como por tener que corregir el registro", declaró.
La Dra. Deveny, quien actualmente participa en un importante proyecto de investigación sobre asistentes médicos con IA, señaló que los médicos podrían confiar demasiado en la IA.
"Hay evidencia de que durante las primeras semanas de uso de la IA, [las personas] revisan todo con mucho cuidado y luego dejan de hacerlo porque dan por sentado que será correcto".
El Dr. Sean Stevens, médico de cabecera en Perth que lleva tres años utilizando un asistente de transcripción, afirmó que es responsabilidad del médico revisar cada transcripción, pero cree que la tecnología está mejorando.
"Hace tres años, tenía que corregir varias cosas en cada transcripción. Ahora, solo una corrección cada tres o cuatro transcripciones".
El Dr. Stevens es un gran defensor de la tecnología; preside el Comité de Salud Digital e Innovación del RACGP y es asesor de uno de los mayores sistemas de transcripción con IA, pero admite que la IA tiene sus limitaciones y puede producir resultados incorrectos que parecen plausibles.
"El ejemplo clásico es que se equivoca con el lado del cuerpo y dice derecha cuando has dicho izquierda... así que hay que revisar todo con mucho cuidado, especialmente cosas como las dosis de medicamentos", explicó.
Añadió que usar IA no significa que pueda atender a más pacientes, pero le permite ser más puntual y realizar derivaciones más completas.
Consentimiento para la participación de la IA
El DRW detectó grandes discrepancias en la forma de obtener el consentimiento. Algunos médicos solo colocan un cartel en la sala de espera, lo cual no cumple con los requisitos de la ley de privacidad.
En otros casos, el consentimiento debe otorgarse al reservar la cita en línea, y, alarmantemente, a algunos pacientes incluso se les niega la cita si no dan su consentimiento.
El Dr. Deveny afirmó que el consentimiento debe ser entusiasta y estar plenamente informado, y que los pacientes deben sentirse cómodos haciendo preguntas, incluso si les resulta intimidante.
Preguntas que los pacientes pueden hacer sobre la IA
Lo que el Foro de Salud del Consumidor recomienda preguntar en su próxima cita médica:
-
¿Utilizan IA actualmente? Si es así, ¿para qué la utilizan?
-
¿Revisará el médico toda la información antes de que se incluya en mi historial clínico?
-
¿Podré obtener una copia de las notas si la deseo?
-
¿Cuál es el procedimiento si creo que algo no está bien?
El informe de DRW también identificó que las personas podrían no ser sinceras sobre temas delicados, como la violencia familiar, cuando saben que la IA las está escuchando.
El Dr. Stevens afirmó que por eso solicitaba el consentimiento en cada consulta, incluso con pacientes habituales.
"Es muy importante que los pacientes revelen todo lo relevante para su salud… y que sepan que pueden negarse [a la IA]… como médico, hay que respetar eso", declaró.
La TGA advierte que se tomarán medidas contra las infracciones
Existen alrededor de una docena de asistentes médicos con IA disponibles en Australia, pero ninguno está aprobado por el organismo regulador —la Administración de Productos Terapéuticos (TGA)— porque si el producto afirma ser exclusivamente para transcripción y resumen, está exento de supervisión.
La TGA solo considera "dispositivos médicos" las herramientas que realizan funciones como sugerir un diagnóstico o un plan de tratamiento.
Actualmente, ningún asistente médico con IA ha pasado por el proceso de regulación, a pesar de que algunos afirman ofrecer sugerencias clínicas.
La TGA ha reconocido que esto significa que algunos sistemas de transcripción podrían haber infringido la ley.
La TGA ha dedicado el último año a revisar los sistemas de transcripción con IA y afirma que sus conclusiones se publicarán en las próximas semanas, y que se tomarán medidas ante cualquier infracción.
La directora ejecutiva de Patients Australia, Lisa Robins, opinó que todos los sistemas de transcripción deberían estar regulados, ya que resumir la información de un paciente aún implica la toma de decisiones por parte de la IA.
El Dr. Stevens expresó su preocupación de que extender la regulación solo frenaría la innovación futura.
El DRW solicita al recién creado Instituto de Seguridad de la IA que pruebe los sistemas de transcripción con IA y publique una lista de herramientas aprobadas.
Esto sería similar al enfoque de Nueva Zelanda, donde el grupo asesor nacional de IA revisó las herramientas y el año pasado autorizó a los médicos a utilizar dos herramientas de IA: Heidi Health e iMed.
La Sra. Deveny afirmó que garantizar que los médicos utilicen la IA de forma segura también podría reforzarse de otras maneras, como mediante controles obligatorios integrados en el software o durante la acreditación de la práctica, que se realiza cada tres años.
La Sra. Green declaró que su confianza en la IA se ha visto mermada por lo sucedido y que ahora solo daría su consentimiento para su uso si tuviera una relación establecida con el médico.
«Me encanta la IA… pero el ingrediente esencial es el ser humano. En definitiva, lo que ha ocurrido aquí tiene más que ver con la falta de intervención humana», afirmó.
Incidente 1696: Un hombre de Vero Beach, Florida, presuntamente utilizó herramientas de IA para crear y distribuir imágenes sexuales no consentidas de su exvecina.
“Un hombre de Vero Beach fue arrestado en una investigación sobre deepfakes explícitos; la policía teme que haya más víctimas.”
VERO BEACH, Florida (CBS12) — Un hombre de Vero Beach fue arrestado y se le impuso una fianza de un millón de dólares tras crear y distribuir imágenes sexualmente explícitas de mujeres generadas por inteligencia artificial sin su consentimiento.
Agentes del Departamento de Policía de Vero Beach informaron que Peter Solomon Ruma, de 37 años, tomó fotos de redes sociales y otras fuentes en línea para crear algunas de las imágenes manipuladas.
El miércoles, los investigadores registraron la casa y los dispositivos electrónicos de Ruma, y encontraron evidencia que lo vincula con la creación y distribución de las imágenes generadas por IA.
Tras la investigación, se obtuvo una orden de arresto y Ruma enfrenta actualmente ocho cargos derivados de incidentes ocurridos entre junio y agosto de 2026 relacionados con una víctima femenina, entre ellos:
- 3 cargos por crear imágenes sexuales alteradas
- 3 cargos por promover dichas imágenes
- 1 cargo por acoso sexual cibernético
- 1 cargo por acoso
La policía ha identificado a varias posibles víctimas adicionales que no han sido identificadas o que podrían desconocer que se crearon o compartieron imágenes suyas. Los investigadores también creen que Ruma podría haber incurrido en esta conducta durante años.
Los registros judiciales muestran que Ruma tiene antecedentes penales en el condado de Indian River. En 2007, fue arrestado por cargos que incluían robo y agresión sexual a una persona con discapacidad física. En 2009, fue arrestado por un cargo de robo y posteriormente sentenciado al Departamento Correccional de Florida.
El caso surge en medio de la creciente preocupación a nivel nacional por los deepfakes generados por IA, que pueden usarse para crear imágenes sexuales de apariencia realista pero falsificadas de personas reales.
Recientemente, las autoridades federales lanzaron TakeItDown.FTC.gov, un recurso que permite a las víctimas denunciar imágenes íntimas no consentidas y solicitar su eliminación de plataformas en línea.
Los investigadores instan públicamente a cualquier persona que crea haber sido víctima, o que haya recibido, visto o tenga información sobre las imágenes alteradas o explícitas, a que se comunique con el Departamento de Policía de Vero Beach (https://www.vbpd.org/).
La investigación continúa y podrían presentarse cargos adicionales.
Incidente 1690: El teniente de policía de Kechi, Kansas, Victor Heiar, utilizó el sistema de lectura de matrículas de Flock Safety para vigilar a su esposa separada.
“Un teniente de policía de Kechi fue arrestado por usar tecnología policial para acosar a su esposa.”
WICHITA, Kansas (KWCH) - El teniente de policía de Kechi, Victor Heiar, fue arrestado por el Departamento de Policía de Wichita tras descubrirse que utilizó su cargo para acceder ilegalmente al sistema de lectura de placas de vehículos del departamento y así monitorear la ubicación de su esposa, de quien estaba separado.
Heiar fue destituido del departamento y se encuentra detenido en la cárcel del condado de Sedgwick, acusado de un cargo de acoso y otro de delitos informáticos.
"Obviamente, si eres un agente y tienes acceso a mucha información, probablemente secreta, que el resto de nosotros desconocemos, no debes usarla para tu beneficio personal", declaró Charles O'Hara, abogado defensor del bufete O'Hara and O'Hara. "Cuando esto se repite y se convierte en un abuso, se convierte en acoso".
O'Hara afirma que, en muchos casos, el acoso puede ser tratado en un proceso civil, no penal.
“No sé cómo lo acusan de acoso”, dijo O’Hara. “Desconozco los detalles; solo estamos especulando, pero supongo que o bien tenía una orden de arresto en su contra y la violó, o bien la acosó hasta el punto de que la mujer sintió miedo”.
La semana pasada se anunció que las fuerzas del orden de Wichita y el condado de Sedgwick recibirían 1,6 millones de dólares en fondos federales para lectores de matrículas y tecnología de cámaras mejorada.
O’Hara afirma que le preocupa la seguridad pública si las fuerzas del orden no utilizan sus recursos correctamente.
“Me preocupa que alguien de alto rango en las fuerzas del orden pueda estar haciendo un mal uso de las herramientas a su disposición”, dijo O’Hara.
El investigador privado Joseph Schillaci dice que, si bien esta situación debe abordarse, no cree que sea algo común en los departamentos de policía. Schillaci afirma que la seguridad pública no es una preocupación.
“Siempre que surge algo así, sin duda hay que abordarlo”, dijo Schillaci. “En lo que respecta a la preocupación y la seguridad pública, estas circunstancias son aisladas”.
Incidente 1691: Según los informes, ChatGPT se utilizó para planificar el ataque con cuchillo en Zúrich-Oerlikon que hirió gravemente a tres niños de cinco años.
“Ataque con cuchillo a niños: El agresor "compró carne de res para practicar".”
Ataque con cuchillo a niños: El agresor “compró carne para practicar”
Un estudiante chino que apuñaló a tres niños en Zúrich-Oerlikon en otoño de 2024 comparecerá ante el tribunal por intento de asesinato este jueves. La acusación formal revela más detalles sobre el crimen.
De qué se trata
-
Un estudiante chino está siendo juzgado en Zúrich por intento de asesinato: El 1 de octubre de 2024, apuñaló a tres niños de cinco años en Oerlikon.
-
La acusación formal muestra que el hombre planeó meticulosamente el ataque: utilizó ChatGPT y compró carne para practicar el apuñalamiento.
-
La fiscalía solicita una pena de 15 años de prisión y la deportación por el mismo período.
Este acto causó indignación en toda Suiza: El 1 de octubre de 2024, Día Nacional de China, un estudiante chino de 23 años atacó con un cuchillo a varios niños en una guardería de Zúrich-Oerlikon. Tres niños de cinco años resultaron gravemente heridos por la hoja de aproximadamente 8,5 centímetros de largo.
A uno de los niños le seccionaron completamente la vena yugular a la altura de la clavícula y sufrió además heridas en el cuello y el hombro izquierdo. Fue necesaria una cirugía de urgencia para evitar la muerte por hemorragia o embolia gaseosa. El agresor apuñaló a un segundo niño dos veces en el pecho. Las puñaladas seccionaron el pericardio y lesionaron la orejuela de la aurícula derecha, la arteria torácica derecha y la vena torácica derecha.
Una cuidadora de guardería detuvo al atacante
La lesión cardíaca provocó una hemorragia en el pericardio y una pérdida de sangre potencialmente mortal. Sobrevivió por poco; su muerte se evitó gracias a la intervención médica inmediata. El tercer niño sufrió múltiples lesiones en la oreja y el pulmón.
Se evitaron nuevos ataques gracias a la enérgica intervención de la cuidadora: según la acusación, corrió hacia el agresor y lo sujetó de los brazos, lo que le hizo desistir de su plan. Al darse cuenta de que no podía liberarse, el hombre arrojó el cuchillo y se entregó. Otros transeúntes, entre ellos Mirco Brühwiler (38), se unieron a la escena y retuvieron al hombre chino hasta la llegada de la policía. El programa 20 Minuten habló con uno de ellos tras el incidente.
“Extraordinariamente a sangre fría”
El hombre comparecerá ante el tribunal el jueves. La fiscalía lo ha acusado de intento de asesinato: El ciudadano chino planeó el ataque meticulosamente y lo preparó con la ayuda de ChatGPT. El joven, que había llegado a Suiza un año antes para cursar un máster en la Universidad de Zúrich, se sentía infeliz y menospreciado, según la fiscalía.
La fiscalía describe la preparación y ejecución del ataque por parte del ciudadano chino como “extraordinariamente a sangre fría”. A principios de agosto de 2024, decidió matar gente. Consultó a la inteligencia artificial ChatGPT sobre las “consecuencias legales de diversas formas de matar a víctimas al azar mediante apuñalamiento” y optó por apuñalar a niños.
Solicitan 15 años de prisión
La acusación continúa: En las semanas siguientes, encargó ropa para el ataque y un juego de cuatro cuchillos de cocina de diferentes tamaños. El 18 de septiembre, investigó dónde y cuándo podría encontrar niños en la ciudad de Zúrich, y diez días después, estudió ilustraciones anatómicas de la cabeza, el cuello y el torso humanos, así como los vasos sanguíneos. El 30 de septiembre, el estudiante compró carne cruda para practicar apuñalamientos y cortes.
Al día siguiente, alrededor del mediodía, perpetró el ataque. La fecha no fue casual: el 1 de octubre es el Día Nacional de China. Minutos antes del ataque, publicó en Instagram desde su apartamento, ubicado en las inmediaciones de la guardería, diversos contenidos patrióticos chinos, así como un mensaje despectivo dirigido a un antiguo conocido en China.
La fiscalía afirma en la acusación que el hombre actuó por pura venganza, sed de reconocimiento y ceguera ideológica. Solicitan una pena de 15 años de prisión y una orden de deportación de 15 años.
La fiscalía afirma en la acusación que el hombre actuó por "pura venganza, deseo de reconocimiento y delirio ideológico".
Acerca de la Base de Datos
La base de datos de incidentes de IA está dedicada a indexar el historial colectivo de daños o casi daños realizados en el mundo real por el despliegue de sistemas de inteligencia artificial. Al igual que bases de datos similares en aviación y seguridad informática, la base de datos de incidentes de IA tiene como objetivo aprender de la experiencia para que podamos prevenir o mitigar los malos resultados.
Estás invitado a enviar informes de incidentes, después de lo cual los envíos se indexarán y se harán visibles para el mundo. La inteligencia artificial solo será un beneficio para las personas y la sociedad si registramos colectivamente y aprendemos de sus fallas. (Más información)

Investigación de incidentes de IA para construir un futuro más seguro: el Instituto de Investigación de Seguridad Digital se asocia con Responsible AI Collaborative
By TheCollab Board of Directors
2024-02-20
El Instituto de Investigación de Seguridad Digital (DSRI) de los Institutos de Investigación de UL se está asociando con Responsible AI Coll...
La Base de Datos en la Prensa
Lea acerca de la base de datos en Time Magazine, Vice News, Venture Beat, Wired y Bulletin of the Atomic Scientists entre otros puntos de venta.
El Colaborativo de IA Responsable
La base de datos de incidentes de IA es un proyecto de Responsible AI Collaborative, una organización autorizada para promover la base de datos de incidentes de IA. La gobernanza de la Colaborativa se estructura en torno a la participación en su programación de impacto. Para obtener más detalles, lo invitamos a leer el informe de fundación y obtener más información sobre nuestro and learn more on our.

View the Responsible AI Collaborative's Form 990 and tax-exempt application. We kindly request your financial support with a donation.
Patrocinador fundador de la organización
Patrocinador fundador de la base de datos

Patrocinadores y subvenciones
Patrocinadores similares
El Informe de Incidentes de IA

Create an account to subscribe to new incident notifications and other updates.


