Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 1779

Incidentes Asociados

Incidente 915 Reportes
Frontline workers protest at Stanford after hospital distributed vaccine to administrators

Loading...
Este es el algoritmo de la vacuna de Stanford que dejó fuera a los médicos de primera línea
technologyreview.com · 2020

Cuando los médicos residentes del Stanford Medical Center, muchos de los cuales trabajan en la primera línea de la pandemia de covid-19, descubrieron que solo siete de más de 1300 de ellos habían sido priorizados para las primeras 5000 dosis de la vacuna covid-19, se sorprendieron. . Luego, cuando vieron quién más había hecho la lista, incluidos los administradores y los médicos que atienden a los pacientes de forma remota desde sus hogares, se enojaron.

Durante una sesión fotográfica planificada para celebrar las primeras vacunas que se llevarán a cabo el viernes 18 de diciembre, al menos 100 residentes se presentaron para protestar. El liderazgo del hospital se disculpó por no priorizarlos y culpó de los errores a “un algoritmo muy complejo”.

“Nuestro algoritmo, en el que trabajaron los expertos en ética y enfermedades infecciosas durante semanas... claramente no funcionó bien”, dijo Tim Morrison, director del equipo de atención ambulatoria, a los residentes en el evento en un video publicado en línea.

Muchos vieron eso como una excusa, especialmente porque los líderes del hospital se dieron cuenta del problema el martes, cuando solo cinco residentes estaban en la lista, y respondieron no arreglando el algoritmo, sino agregando dos residentes más para un total de siete.

“Uno de los principales atractivos de los algoritmos es que permiten que los poderosos culpen a una caja negra por resultados políticamente poco atractivos de los que de otro modo serían responsables”, escribió en Twitter Roger McNamee, un destacado miembro de Silicon Valley convertido en crítico. “Pero la gente decidió quién recibiría la vacuna”, tuiteó Veena Dubal, profesora de derecho en la Universidad de California, Hastings, que investiga tecnología y sociedad. “El algoritmo simplemente llevó a cabo su voluntad”.

Pero, ¿cuál era exactamente el "testamento" de Stanford? Echamos un vistazo al algoritmo para averiguar qué estaba destinado a hacer.

Cómo funciona el algoritmo

La diapositiva que describe el algoritmo provino de los residentes que la habían recibido de su jefe de departamento. No es un algoritmo complejo de aprendizaje automático (que a menudo se denomina "cajas negras"), sino una fórmula basada en reglas para calcular quién recibirá la vacuna primero en Stanford. Considera tres categorías: “variables basadas en los empleados”, que tienen que ver con la edad; “variables basadas en el trabajo”; y directrices del Departamento de Salud Pública de California. Para cada categoría, el personal recibió una determinada cantidad de puntos, con una puntuación total posible de 3,48. Presumiblemente, cuanto mayor sea el puntaje, mayor será la prioridad de la persona en la fila. (El Centro Médico de Stanford no respondió a múltiples solicitudes de comentarios sobre el algoritmo durante el fin de semana).

Las variables de empleados aumentan el puntaje de una persona linealmente con la edad, y se agregan puntos adicionales a los mayores de 65 años o menores de 25. Esto da prioridad al personal más viejo y más joven, lo que pone en desventaja a los residentes y otros trabajadores de primera línea que generalmente están en la mitad de la edad. rango.

Las variables laborales son las que más contribuyen a la puntuación general. El algoritmo cuenta la prevalencia de covid-19 entre los roles de trabajo y el departamento de los empleados de dos maneras diferentes, pero la diferencia entre ellos no está del todo clara. Ni los residentes ni dos expertos no afiliados a los que les pedimos que revisaran el algoritmo entendieron lo que significaban estos criterios, y el Centro Médico de Stanford no respondió a una solicitud de comentarios. También consideran la proporción de pruebas realizadas por puesto de trabajo como un porcentaje del número total de pruebas recopiladas del centro médico.

Muchos estados implementaron servicios de notificación de exposición después de que las transmisiones de covid comenzaron a aumentar, pero los expertos en salud dicen que las nuevas aplicaciones aún pueden ayudar.

Lo que no toman en cuenta estos factores es la exposición a pacientes con covid-19, dicen los vecinos. Eso significa que el algoritmo no distinguió entre aquellos que se contagiaron de covid de los pacientes y aquellos que se contagiaron de la comunidad, incluidos los empleados que trabajan de forma remota. Y, como informó ProPublica por primera vez, a los residentes se les dijo que debido a que rotan entre departamentos en lugar de mantener una sola asignación, perdieron puntos asociados con los departamentos en los que trabajaban.

La tercera categoría del algoritmo se refiere a las pautas de asignación de vacunas del Departamento de Salud Pública de California. Estos se centran en el riesgo de exposición como el factor más importante para la priorización de vacunas. Las pautas están destinadas principalmente a que los gobiernos locales y del condado decidan cómo priorizar la vacuna, en lugar de cómo priorizar entre los departamentos de un hospital. Pero incluyen específicamente a los residentes, junto con los departamentos donde trabajan, en el nivel de mayor prioridad.

Puede ser que el factor “rango CDPH” otorgue a los residentes una puntuación más alta, pero aún no lo suficientemente alta como para contrarrestar los otros criterios.

“¿Por qué lo hicieron de esa manera?”

Stanford trató de tener en cuenta muchas más variables que otras instalaciones médicas, pero Jeffrey Kahn, director del Instituto de Bioética Johns Hopkins Berkman, dice que el enfoque era demasiado complicado. "Cuanto más hay diferentes pesos para diferentes cosas, se vuelve más difícil de entender: '¿Por qué lo hicieron de esa manera?'", dice.

Kahn, quien formó parte del comité de 20 miembros de Johns Hopkins sobre asignación de vacunas, dice que su universidad asignó vacunas simplemente en función del trabajo y el riesgo de exposición al covid-19.

Él dice que la decisión se basó en discusiones que incluyeron deliberadamente diferentes perspectivas, incluidas las de los residentes, y en coordinación con otros hospitales en Maryland. En otros lugares, el plan de la Universidad de California en San Francisco se basa en una evaluación similar del riesgo de exposición al virus. Mass General Brigham en Boston clasifica a los empleados en cuatro grupos según el departamento y la ubicación del trabajo, según un correo electrónico interno revisado por MIT Technology Review.

“Hay tan poca confianza en todo lo relacionado con la pandemia que no podemos desperdiciarla”.

"Es realmente importante [para] que cualquier enfoque como este sea transparente y público... y no algo realmente difícil de entender", dice Kahn. “Hay tan poca confianza en todo lo relacionado con la pandemia que no podemos desperdiciarla”.

Los algoritmos se usan comúnmente en el cuidado de la salud para clasificar a los pacientes por nivel de riesgo en un esfuerzo por distribuir la atención y los recursos de manera más equitativa. Pero cuantas más variables se utilicen, más difícil será evaluar si los cálculos pueden ser defectuosos.

Por ejemplo, en 2019, un estudio publicado en Science mostró que 10 algoritmos ampliamente utilizados para distribuir la atención en los EE. UU. terminaron favoreciendo a los pacientes blancos sobre los negros. Resultó que el problema era que los diseñadores de los algoritmos asumieron que los pacientes que gastaban más en atención médica estaban más enfermos y necesitaban más ayuda. En realidad, los que más gastan también son más ricos y es más probable que sean blancos. Como resultado, el algoritmo asignó menos atención a los pacientes negros con las mismas condiciones médicas que los blancos.

Irene Chen, candidata a doctorado del MIT que estudia el uso de algoritmos justos en el cuidado de la salud, sospecha que esto es lo que sucedió en Stanford: los diseñadores de la fórmula eligieron variables que creían que servirían como buenos indicadores del nivel de riesgo de covid de un miembro del personal. Pero no verificaron que estos proxies condujeran a resultados sensatos o respondieran de manera significativa a los aportes de la comunidad cuando el plan de vacunas salió a la luz el martes de la semana pasada. "No es malo que la gente haya pensado en eso después", dice Chen. “Es que no había un mecanismo para arreglarlo”.

¿Un canario en la mina de carbón?

Después de las protestas, Stanford emitió una disculpa formal y dijo que revisaría su plan de distribución.

Los representantes de los hospitales no respondieron a las preguntas sobre a quién incluirían en los nuevos procesos de planificación o si se seguiría utilizando el algoritmo. Un correo electrónico interno que resume la respuesta de la escuela de medicina, compartido con MIT Technology Review, establece que ni los jefes de programa, los jefes de departamento, los médicos asistentes ni el personal de enfermería participaron en el diseño del algoritmo original. Ahora, sin embargo, algunos profesores están presionando para tener un papel más importante, eliminando por completo los resultados de los algoritmos y, en cambio, otorgando a los jefes y presidentes de división la autoridad para tomar decisiones por sus propios equipos.

Otros jefes de departamento han alentado a los residentes a que se vacunen primero. Algunos incluso han pedido a los profesores que traigan a los residentes con ellos cuando se vacunen, o que retrasen sus vacunas para que otros puedan hacerlo primero.

Algunos residentes están eludiendo por completo el sistema de atención médica de la universidad. Nuriel Moghavem, un residente de neurología que fue el primero en dar a conocer los problemas en Stanford, tuiteó el viernes por la tarde que finalmente había recibido su vacuna, no en Stanford, sino en un hospital público del condado de Santa Clara.

“Me vacuné hoy para protegerme a mí, a mi familia y a mis pacientes”, tuiteó. “Pero solo tuve la oportunidad porque el hospital público de mi condado cree que los residentes son proveedores críticos de primera línea. Agradecido."

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd