Problema 1413

Durante la mayor parte de su vida, Tammy Dobbs, que tiene parálisis cerebral, dependió de su familia en Missouri para recibir atención. Pero en 2008, se mudó a Arkansas, donde se inscribió en un programa estatal que proporcionaba un cuidador para brindarle la ayuda que necesitaba. Allí, bajo un programa de exención de Medicaid, los asesores entrevistaron a los beneficiarios y decidieron con qué frecuencia debería visitar el cuidador. Las necesidades de Dobbs eran amplias. Su enfermedad la dejó en una silla de ruedas y sus manos se endurecieron. Las tareas más básicas de la vida (levantarse de la cama, ir al baño, bañarse) requerían ayuda, sin mencionar los viajes a las ventas de garaje que atesoraba. La enfermera que evaluó su situación le asignó a Dobbs 56 horas de visitas de atención domiciliaria por semana, el máximo permitido por el programa. Durante años, se las arregló bien. Un ayudante llegaba todos los días a las 8 a. m., ayudaba a Dobbs a levantarse de la cama, al baño y luego preparaba el desayuno. Regresaba a la hora del almuerzo, luego otra vez por la noche para la cena y las tareas domésticas que había que hacer, antes de ayudar a Dobbs a acostarse. Los momentos finales fueron especialmente importantes: dondequiera que se colocara a Dobbs para dormir, se quedaría hasta que el ayudante regresara 11 horas después. Dobbs recibió reevaluaciones periódicas de sus necesidades, pero no la preocuparon. Después de todo, no se recuperaría, por lo que no parecía probable que se hicieran cambios en su cuidado. Cuando llegó un asesor en 2016 y analizó su situación, fue un proceso familiar: ¿cuánta ayuda necesitaba para usar el baño? ¿Qué hay de comer? ¿Cómo era su estado emocional? La mujer escribió notas en una computadora y, cuando terminó, le dio a Dobbs un veredicto impactante: sus horas se reducirían a solo 32 por semana. Dobbs dice que se volvió "balística" con la mujer. Ella suplicó, explicando que eso simplemente no era suficiente, pero ninguno de los dos, dice Dobbs, parecía entender lo que estaba sucediendo. La situación de Dobbs no había mejorado, pero se había producido un cambio invisible. Cuando el asesor ingresó la información de Dobbs en la computadora, se ejecutó un algoritmo que el estado había aprobado recientemente, determinando cuántas horas de ayuda recibiría. Otras personas en todo el estado también luchaban por comprender los cambios a menudo drásticos. Mientras las personas en el programa hablaban entre sí, cientos de ellas se quejaron de que su línea de vida más importante había sido cortada y no podían entender por qué. Las herramientas algorítmicas como la que instituyó Arkansas en 2016 están en todas partes, desde la atención médica hasta la aplicación de la ley, alterando vidas de una manera que las personas afectadas generalmente solo pueden vislumbrar, si saben que están siendo utilizadas. Incluso si los detalles de los algoritmos son accesibles, lo que no siempre es el caso, a menudo están más allá de la comprensión incluso de las personas que los usan, lo que genera preguntas sobre lo que significa la transparencia en una era automatizada y preocupaciones sobre la capacidad de las personas para impugnar. decisiones tomadas por las máquinas. Al planificar el corte en la atención, Dobbs calculó lo que podría prescindir, eligiendo entre viajes a la iglesia o mantener la casa limpia. Siempre había incursionado en la poesía, y más tarde escribió una pieza simple de siete estrofas llamada "Hour Dilemma", dirigida al estado. Ella escribió que la institucionalización sería una "pesadilla" y le pidió al estado que "volviera a la evaluación basada en humanos". El cambio dejó a Dobbs en una situación en la que nunca pensó que estaría, ya que el programa en el que había confiado durante años se vino abajo. “Pensé que me cuidarían”, dice ella. El algoritmo que trastornó la vida de Dobbs cabe cómodamente, cuando se imprime, en unas 20 páginas. Aunque es difícil de descifrar sin la ayuda de un experto, el algoritmo calcula alrededor de 60 descripciones, síntomas y dolencias (fiebre, pérdida de peso, uso de ventiladores) en categorías, cada una de las cuales corresponde a una cantidad de horas de atención domiciliaria. Como muchas industrias, el cuidado de la salud ha recurrido a la automatización en busca de eficiencia. El algoritmo utilizado en Arkansas es uno de una familia de herramientas, llamadas "instrumentos", que intentan proporcionar una instantánea de la salud de una persona para informar las decisiones sobre la atención en todas partes, desde hogares de ancianos hasta hospitales y prisiones. El instrumento utilizado en Arkansas fue diseñado por InterRAI, una coalición sin fines de lucro de investigadores de la salud de todo el mundo. Brant Fries, profesor de la Universidad de Michigan en el Departamento de Gestión y Políticas de Salud de la escuela y ahora presidente de InterRAI, comenzó a desarrollar algoritmos en la década de 1980, originalmente para su uso en hogares de ancianos. Los instrumentos tienen licencia para los proveedores de software por una “pequeña regalía”, dice, y se pide a los usuarios que envíen los datos a InterRAI. Las herramientas del grupo se utilizan en entornos de salud en casi la mitad de los estados de EE. UU., así como en varios países. En la atención domiciliaria, el problema de la asignación de ayuda es especialmente grave. Estados Unidos no está preparado para atender a una población que vive más tiempo, y la situación ha causado problemas tanto para las personas que necesitan atención como para los propios asistentes, algunos de los cuales dicen que se ven obligados a trabajar horas no remuneradas. A medida que aumentan las necesidades, los estados se ven obligados a buscar nuevas formas de contener los costos y distribuir los recursos que tienen. Los estados han tomado rutas divergentes para resolver el problema, según Vincent Mor, profesor de Brown que estudia políticas de salud y es miembro de InterRAI. California, dice, tiene un sistema de atención domiciliaria en expansión y de múltiples niveles, mientras que algunos estados más pequeños se basan únicamente en evaluaciones personales. Antes de usar el sistema algorítmico, los evaluadores en Arkansas tenían un amplio margen para asignar las horas que consideraran necesarias. En muchos estados, "si cumple con los requisitos de elegibilidad, un administrador de casos, una enfermera o un trabajador social elaborará un plan individualizado para usted", dice Mor. Arkansas ha dicho que el sistema anterior basado en humanos estaba maduro para el favoritismo y las decisiones arbitrarias. “Sabíamos que habría cambios para algunas personas porque, nuevamente, esta evaluación es mucho más objetiva”, dijo un portavoz al Arkansas Times después de que se implementó el sistema. Los beneficiarios de la ayuda han señalado la falta de evidencia que muestre tal sesgo en el estado. Los funcionarios de Arkansas también dicen que a un porcentaje sustancial de personas se les aumentaron las horas, mientras que los destinatarios argumentan que el estado tampoco ha podido producir datos sobre el alcance de los cambios en ninguna dirección. El Departamento de Servicios Humanos de Arkansas, que administra el programa, se negó a responder preguntas para esta historia, citando una demanda que se está desarrollando en un tribunal estatal. Cuando se han automatizado sistemas de atención médica similares, no siempre han funcionado a la perfección y sus errores pueden ser difíciles de corregir. La académica Danielle Keats Citron cita el ejemplo de Colorado, donde los codificadores colocaron más de 900 reglas incorrectas en su sistema de beneficios públicos a mediados de la década de 2000, lo que resultó en problemas como que a las mujeres embarazadas se les negara Medicaid. Problemas similares en California, escribe Citron en un artículo, llevaron a “pagos excesivos, pagos insuficientes y terminaciones indebidas de beneficios públicos”, ya que a los niños de crianza temporal se les negó Medicaid incorrectamente. Citron escribe sobre la necesidad de un "debido proceso tecnológico": la importancia de comprender lo que sucede en los sistemas automatizados y recibir formas significativas de desafiarlos. Los críticos señalan que, al diseñar estos programas, los incentivos no siempre están alineados con interfaces fáciles y procesos inteligibles. Virginia Eubanks, autora de Automating Inequality, dice que muchos programas en los Estados Unidos "se basan en la idea de que su primer trabajo es el desvío", aumentando las barreras a los servicios y, a veces, haciendo que el proceso sea tan difícil de navegar "que solo significa que las personas que realmente necesitan estos servicios no pueden obtenerlos”. Uno de los casos más extraños ocurrió en Idaho, donde el estado intentó, como Arkansas, instituir un algoritmo para asignar fondos de atención domiciliaria e integración comunitaria, pero lo construyó internamente. El programa de atención domiciliaria del estado calculó lo que costaría cuidar a personas gravemente discapacitadas y luego asignó fondos para pagar la ayuda. Pero alrededor de 2011, cuando se instituyó una nueva fórmula, esos fondos cayeron abruptamente para muchas personas, hasta en un 42 por ciento. Cuando las personas cuyos beneficios fueron recortados trataron de determinar cómo se determinaron sus beneficios, el estado se negó a revelar la fórmula que estaba usando, diciendo que sus matemáticas calificaban como secreto comercial. En 2012, la rama local de ACLU presentó una demanda en nombre de los beneficiarios del programa, argumentando que las acciones de Idaho los habían privado de sus derechos al debido proceso. En la corte, se reveló que, cuando el estado estaba construyendo su herramienta, se basó en datos profundamente defectuosos y desechó la mayor parte de ellos de inmediato. Aún así, el estado siguió adelante con los datos que sobraron. “Realmente salió mal en cada paso del proceso de desarrollo de este tipo de fórmula”, dice el director legal de la ACLU de Idaho, Richard Eppink. Lo que es más importante, cuando el sistema de Idaho se volvió loco, era imposible que la persona promedio lo entendiera o desafiara. Un tribunal escribió que “los participantes no reciben ninguna explicación por la denegación, no tienen estándares escritos a los que referirse para obtener orientación y, a menudo, no tienen un familiar, tutor o asistencia paga para ayudarlos”. El proceso de apelaciones fue difícil de navegar, y Eppink dice que "realmente no tenía sentido" de todos modos, ya que las personas que recibieron las apelaciones tampoco podían entender la fórmula. Mirarían el sistema y dirían: "Está más allá de mi autoridad y mi experiencia cuestionar la calidad de este resultado". Desde entonces, Idaho acordó mejorar la herramienta y crear un sistema que, según Eppink, será más "transparente, comprensible y justo". Él dice que podría haber una fórmula ideal que, cuando se ingresan las variables correctas, tenga engranajes que giren sin fricción, asignando la asistencia de la manera perfecta. Pero si el sistema es tan complejo que es imposible hacerlo inteligible para las personas a las que afecta, no está haciendo su trabajo, argumenta Eppink. “Tienes que ser capaz de entender lo que hizo una máquina”. “Eso es un argumento”, dice Fries. "Encuentro que eso es realmente extraño". Simpatiza con las personas a las que se les redujeron las horas en Arkansas. Cada vez que se implementa uno de sus sistemas, dice, recomienda que las personas que se encuentran bajo programas antiguos se beneficien o al menos ajusten gradualmente su cuidado; las personas en estos programas "probablemente no van a vivir tanto tiempo", dice. También sugiere dar a los humanos algo de espacio para ajustar los resultados, y reconoce que pasar rápidamente de un sistema "irracional" a uno "racional", sin explicar adecuadamente por qué, es doloroso. Los funcionarios de Arkansas, dice, no escucharon su consejo. “Lo que hicieron fue, en mi opinión, realmente estúpido”, dice. Las personas que estaban acostumbradas a un cierto nivel de atención fueron empujadas a un nuevo sistema, “y gritaron”. Fries dice que conoce el proceso de evaluación: hacer que una persona ingrese, dé una entrevista, ingrese números en una máquina y haga que escupa una determinación, no es necesariamente cómodo. Pero, dice, el sistema proporciona una forma de asignar la atención que está respaldada por estudios. “Se podría argumentar que todos deberían recibir mucha más atención”, dice, pero un algoritmo permite a los funcionarios estatales hacer lo que pueden con los recursos que tienen. En cuanto a la transparencia del sistema, está de acuerdo en que el algoritmo es imposible de entender fácilmente para la mayoría, pero dice que no es un problema. “No es simple”, dice. “Mi lavadora no es simple.” Pero si puede capturar la complejidad con más detalle, argumenta Fries, en última instancia, esto servirá mejor al público y, en algún momento, "tendrá que confiar en mí, un grupo de personas inteligentes determinaron que esta es la manera inteligente de hacerlo". eso." Poco después de que Arkansas comenzara a usar el algoritmo en 2016, Kevin De Liban, abogado de Legal Aid of Arkansas, comenzó a recibir quejas. Alguien dijo que fueron hospitalizados porque se les cortó la atención. Un montón de otros escribieron sobre reajustes radicales. De Liban se enteró por primera vez del cambio por un beneficiario del programa llamado Bradley Ledgerwood. La familia Ledgerwood vive en la pequeña ciudad de Cash, en el noreste del estado. Bradley, el hijo, tiene parálisis cerebral, pero se mantiene activo, siguiendo el baloncesto y la política republicana, y sirviendo en el concejo municipal. Cuando Bradley era más pequeño, su abuela lo cuidaba durante el día, pero a medida que se hacía mayor y más grande, no podía levantarlo y la situación se volvió insostenible. Los padres de Bradley debatieron qué hacer y finalmente decidieron que su madre, Ann, se quedaría en casa para cuidarlo. La decisión significó un duro golpe financiero; Ann tenía un trabajo haciendo tasaciones para el condado que tendría que dejar. Pero el programa de Arkansas les dio un camino para recuperar algunas de esas pérdidas. El estado reembolsaría a Ann una pequeña tarifa por hora para compensarla por cuidar a Bradley, con el número de horas reembolsables determinado por una evaluación de sus necesidades de atención. Cuando el estado se cambió a su nuevo sistema, las horas de trabajo de la familia Ledgerwood también se redujeron sustancialmente. Bradley había tratado con el Departamento de Servicios Humanos de Arkansas, que administraba el programa, en una batalla anterior por una disputa sobre las horas de atención domiciliaria y se acercó a De Liban, quien accedió a investigarlo. Con Bradley y una anciana llamada Ethel Jacobs como demandantes, Legal Aid presentó una demanda federal en 2016, argumentando que el estado había instituido una nueva política sin notificar adecuadamente a las personas afectadas sobre el cambio. Tampoco había forma de desafiar el sistema de manera efectiva, ya que no podían entender qué información se tuvo en cuenta en los cambios, argumentó De Liban. Nadie parecía capaz de responder preguntas básicas sobre el proceso. “Las enfermeras dijeron: ‘No soy yo; es la computadora’”, dice De Liban. En ese momento, sabían que era una especie de sistema nuevo basado en computadora, pero no se mencionó un algoritmo; las matemáticas detrás del cambio solo salieron a la luz después de que se presentó la demanda. “No tenía ningún sentido para mí al principio”, dice De Liban. Cuando profundizaron en el sistema, descubrieron más acerca de cómo funciona. De la larga lista de elementos sobre los que preguntaron los asesores, solo unos 60 se incluyeron en el algoritmo de atención domiciliaria. El algoritmo califica las respuestas a esas preguntas y luego clasifica a las personas en categorías a través de un sistema similar a un diagrama de flujo. Resultó que un pequeño número de variables podía ser muy importante: para algunas personas, una diferencia entre una puntuación de tres en lugar de un cuatro en cualquiera de un puñado de elementos significaba una reducción de docenas de horas de atención al mes. (Fries no dijo que esto estuviera mal, pero dijo que, cuando se trata de estos sistemas, “siempre hay personas al margen que van a ser problemáticas”). absurdos.” Una variable en la evaluación fueron los problemas en los pies. Cuando un asesor visitó a cierta persona, escribió que la persona no tenía ningún problema, porque tenía una amputación. Con el tiempo, dice De Liban, descubrieron puntajes muy diferentes cuando se evaluaba a las mismas personas, a pesar de estar en la misma condición. (Fries dice que los estudios sugieren que esto rara vez sucede). De Liban también dice que los cambios negativos, como una persona que contrae neumonía, podría llevarlos a recibir menos horas de ayuda porque el algoritmo similar a un diagrama de flujo los colocaría en una categoría diferente. (Fries lo negó y dijo que el algoritmo lo explica). Pero desde la perspectiva del estado, el momento más vergonzoso de la disputa ocurrió durante el interrogatorio en la corte. Se llamó a Fries para responder preguntas sobre el algoritmo y le explicó pacientemente a De Liban cómo funciona el sistema. Después de algunas idas y venidas, De Liban ofreció una sugerencia: "¿Podría tomar el informe de evaluación de alguien y luego clasificarlo en una categoría?" (Más tarde dijo que quería entender qué cambios provocaron la reducción de un año al siguiente). Fries dijo que podía, aunque le llevaría un poco de tiempo. Revisó los números de Ethel Jacobs. Después de un descanso, un abogado del estado regresó y admitió tímidamente ante el tribunal: hubo un error. De alguna manera, se estaba utilizando el cálculo incorrecto. Dijeron que restablecerían el horario de Jacobs. “Por supuesto que nos complace que el DHS haya informado el error y ciertamente felices de que se haya encontrado, pero eso casi demuestra el punto del caso”, dijo De Liban en la corte. “Existe este sistema inmensamente complejo en torno al cual no se han publicado estándares, por lo que nadie en su agencia lo detectó hasta que iniciamos un litigio federal y gastamos cientos de horas y miles de dólares para llegar aquí hoy. Ese es el problema." En el caso judicial se supo que el problema estaba en que un proveedor de software de terceros implementó el sistema, que usó por error una versión del algoritmo que no tenía en cuenta los problemas de diabetes. También hubo un problema separado con la parálisis cerebral, que no estaba codificado correctamente en el algoritmo, y eso causó cálculos incorrectos para cientos de personas, en su mayoría reduciendo sus horas. “Hasta donde sabíamos, lo estábamos haciendo de la manera correcta”, dice Douglas Zimmer, presidente del proveedor, una compañía llamada Center for Information Management, sobre el uso del algoritmo que no incluía problemas de diabetes. Nueva York también usa esta versión del algoritmo. Él dice que el problema de codificación de la parálisis cerebral fue "un error de nuestra parte". “Si los estados están usando algo tan complejo que no lo entienden, ¿cómo sabemos que está funcionando bien?” dice De Liban. "¿Qué pasa si hay errores?" Fries luego escribió en un informe al estado que alrededor del 19 por ciento de todos los beneficiarios se vieron afectados negativamente por la omisión de la diabetes. Me dijo que los algoritmos intercambiados equivalían a una "llamada muy, muy marginal" y que, en general, no era irrazonable que el estado continuara usando el sistema que asignaba menos horas, como lo decidió Nueva York. En el informe y conmigo, dijo que el cambio de diabetes no fue un "error", aunque el informe dice que el algoritmo más utilizado era una coincidencia "ligeramente mejor" para Arkansas. Un elemento enumerado como "pro" en el informe: volver al algoritmo original fue "sensible al resultado del juicio", ya que aumentaría las horas de los demandantes cerca de sus niveles anteriores. No está claro si el estado ha comenzado a contar los problemas de diabetes desde entonces. A partir de diciembre, un funcionario dijo que creía que no lo eran. El Departamento de Servicios Humanos se negó a comentar. Pero en correos electrónicos internos vistos por The Verge, los funcionarios de Arkansas discutieron el error de codificación de la parálisis cerebral y el mejor curso de acción. En una cadena de correos electrónicos, los funcionarios sugirieron que, dado que algunas de las personas a las que se les redujeron las horas no apelaron la decisión, renunciaron efectivamente a su derecho legal de luchar contra ella. ("¿Cómo se supone que alguien va a apelar y determinar que hay un problema con el software cuando el DHS mismo no lo determinó?", dice De Liban). individuos que no recibieron los servicios que realmente necesitaban, y compensarlos por esa deficiencia se siente como lo correcto”. También “colocaría al DHS en el lado correcto de la historia”. El juez en el caso de la corte federal finalmente dictaminó que el estado no había implementado suficientemente el programa. Posteriormente, el estado también realizó cambios para ayudar a las personas a comprender el sistema, incluidas listas que mostraban exactamente qué elementos en sus evaluaciones cambiaron de un año a otro. Pero De Liban dice que había un problema mayor: la gente no recibió suficiente ayuda en general. Si bien el algoritmo establece las proporciones para la atención (un nivel de atención, por ejemplo, puede ser dos o tres veces más alto que otro), es decisión del estado decidir cuántas horas insertar en la ecuación. “Cuánto se da es tanto un problema político como de administración del servicio”, dice Mor. Fries dice que no existe una mejor práctica para alertar a las personas sobre cómo funciona un algoritmo. “Probablemente sea algo que deberíamos hacer”, dijo cuando le pregunté si su grupo debería encontrar una manera de comunicar el sistema. "Sí, probablemente también debería quitar el polvo debajo de mi cama". Después, aclaró que pensaba que era trabajo de las personas que implementaban el sistema. De Liban dice que el proceso para que las personas apelen sus recortes ha sido inútil para la mayoría. De las 196 personas que apelaron una decisión en un momento anterior al fallo, solo nueve ganaron, y la mayoría de ellos eran clientes de Legal Aid que peleaban por motivos procesales. Si bien es difícil saberlo, De Liban dice que es muy posible que algunos hayan tenido errores de los que no estaban al tanto. Eubanks, el autor de Automating Inequality, escribe sobre la “casa de pobreza digital”, mostrando las formas en que la automatización puede dar un nuevo brillo al maltrato de larga data de los vulnerables. Ella me dijo que existe una “confianza natural” en que los sistemas basados en computadoras producirán resultados imparciales y neutrales. "Estoy segura de que lo es en algunos casos, pero puedo decir con bastante confianza que no es tan descriptivo o predictivo como afirman los defensores de estos sistemas", dice ella. Eubanks propone una prueba para evaluar algoritmos dirigidos a los pobres, que incluye preguntar si la herramienta aumenta su agencia y si sería aceptable usarla con personas más ricas. No parece obvio que el sistema de Arkansas pasaría esa prueba. En una señal, los funcionarios se sintieron decepcionados con el sistema, dijeron que pronto migrarán a un nuevo sistema y proveedor de software, probablemente calculando las horas de una manera diferente, aunque no está claro exactamente qué significará eso para las personas en el programa. Dobbs lo ha hecho bien hasta ahora. Su casa se encuentra junto a un camino sinuoso en una colina junto a un lago, salpicada de árboles estériles en invierno. Cuando el sol se pone por la tarde, la luz entra a raudales por las ventanas e ilumina la colección de plantas que Dobbs administra con la ayuda de un asistente. Un perro desaliñado y con suéter llamado Spike saltaba emocionado cuando lo visité recientemente, mientras un gato peludo competía por atención. “A veces me gustan más que los humanos”, dice Dobbs. En la pared había una colección de recuerdos de Duck Dynasty y una foto enmarcada de ella con Kenny Rogers de cuando trabajaba en el edificio de Missouri, entonces conocido como Kenny Rogers United Cerebral Palsy Center. Por el momento, está atrapada en el limbo. Pronto volverá a presentarse para otra reevaluación y, si bien es casi seguro, según lo que se sabe sobre el sistema, que se le dará un corte, es difícil decir qué tan grave será. Ya ha pasado por el proceso más de una vez. Sus horas fueron restablecidas brevemente después de que un juez falló a favor de los demandantes en la demanda federal, solo para que se redujeran nuevamente después de que el estado cambió su sistema de notificación para cumplir con el fallo y reimplementó el algoritmo. Mientras pasaba por una apelación, el Departamento de Servicios Humanos, dice De Liban, restableció silenciosamente sus horas nuevamente. Esto, dice, fue justo cuando se descubrió el problema de la parálisis cerebral. Él dice que esta puede haber sido la razón por la que se eliminó: para salvar las apariencias. Pero como muchas personas que luchan con los cambios pueden entender, es difícil saberlo con certeza.