Incidentes Asociados
A principios de este año, el departamento de salud pública de Toronto encendió discretamente un experimento dirigido a las playas más propensas a la contaminación de la ciudad.
En lugar de depender de pruebas de laboratorio del día anterior para asegurarse de que las personas no naden en aguas inseguras, la ciudad aprovechó la magia de la inteligencia artificial y contrató a Cann Forecast, una empresa emergente con sede en Montreal cuyos productos de modelado predictivo utilizan IA y aprendizaje automático para pronosticar la calidad del agua. A partir de junio, los funcionarios utilizaron el modelo de Cann para decidir cuándo deberían estar abiertas al público dos de las playas más frecuentemente contaminadas de Toronto y cuándo el agua no era segura.
Casi de inmediato, el experimento comenzó a salir mal. La modelo regularmente declaraba que las playas eran seguras para nadar en los días en que la historia o la apariencia del agua sugerían que no era seguro. Los funcionarios de la ciudad desestimaron las preocupaciones de los residentes y de un grupo de monitoreo ambiental local sobre las discrepancias, argumentando que la herramienta de inteligencia artificial era más precisa que los métodos de prueba tradicionales.
Pero un análisis de los datos de calidad del agua de las dos playas realizado por The Information encontró que el modelo predictivo era menos preciso que el método anterior de la ciudad, y menos preciso que lanzar una moneda al aire. En total, el modelo marcó un poco más de uno de cada tres días cuando el agua no era segura, lo que llevó a casi 50 casos este verano cuando las playas con niveles peligrosos de bacterias estuvieron abiertas al público para nadar.
Las luchas de Toronto resaltan los desafíos para los gobiernos a medida que implementan modelos predictivos y otras herramientas de IA. En los últimos años, las agencias públicas de Michigan a Australia han recurrido a la automatización para mejorar la eficiencia de procesos como el cobro de deudas y el fraude de beneficios, con resultados mixtos.
Las agencias de bienestar infantil en los EE. UU. han implementado algoritmos para ayudar a los trabajadores sociales a priorizar las investigaciones, a pesar de la poca evidencia de que funcionan y los múltiples ejemplos de resultados racialmente sesgados. Se descubrió que una de esas herramientas, desarrollada por una agencia de bienestar infantil en Pensilvania, [desproporcionadamente] (https://loganstapleton.com/wp-content/uploads/2022/04/Extended_Analysis__How_Child_Welfare_Workers_Reduced_Racial_Disparities_in_Algorithmic_Decisions.pdf) marca a los niños negros para investigaciones de negligencia; algunos trabajadores sociales intentaron ajustar manualmente las puntuaciones para reducir el sesgo. Los funcionarios de Oregón, que habían adoptado un sistema similar, detuvieron utilizando su versión de la herramienta en junio, luego de una investigación académica y un informe de Associated Press que destaca las preocupaciones sobre el sistema utilizado en Pensilvania.
"Es un sesgo de automatización", dijo Shea Brown, fundadora y directora ejecutiva de Babl AI, una firma de consultoría enfocada en el despliegue ético de algoritmos. "En ausencia de mucho escrutinio, la gente tiende a usar por defecto la herramienta automatizada", en parte para trasladar la responsabilidad a un programa de computadora, dijo Brown.
Parte del problema radica en cómo se comercializan estas tecnologías, dijo Arvind Narayanan, profesor de ciencias de la computación en la Universidad de Princeton que está escribiendo un libro sobre el surgimiento de lo que él llama [IA falsa] (https://aisnakeoil.substack.com/ p/a-sneak-peak-in-the-book). "Venden estas herramientas basándose en la promesa de una automatización total, pero cuando surgen preocupaciones sobre sesgos, fallas catastróficas u otras limitaciones bien conocidas de la IA, se retiran a la letra pequeña, que dice que la herramienta no debe usarse en propio”, dijo. Eso es problemático, dijo Naryanan, "porque la supervisión humana anularía los ahorros de costos que [los usuarios] esperaban cuando compraron la herramienta".
Ordenado por el Congreso para reducir la reincidencia, el Departamento de Justicia de los EE. UU. en 2018 desarrolló un algoritmo, conocido como Patrón, para determinar la probabilidad de que alguien en prisión sea arrestado o entre en contacto con el sistema de justicia penal después de la liberación. Las personas clasificadas por el algoritmo como de menor riesgo tienen más probabilidades de acceder a programas de rehabilitación que pueden acortar sus sentencias de prisión, mientras que las clasificadas como de mayor riesgo enfrentan barreras significativas.
Los errores y los errores administrativos han plagado a Pattern desde su implementación en 2019, según los informes [publicados](https://nij.ojp.gov/library/publications/2021-review-and-revalidation-first-step-act-risk- herramienta de evaluación) por el Departamento de Justicia y [testimonio] del Congreso (https://docs.house.gov/meetings/JU/JU08/20220121/114349/HHRG-117-JU08-Wstate-HamiltonM-20220121.pdf). Recientes revisiones sobre la eficacia de la herramienta encontraron que sobreestima el riesgo de reincidencia para las personas negras, hispanas y asiáticas, y ha llevado a la clasificación incorrecta de 14.000 personas privadas de libertad.
"Está perfectamente bien usar un modelo predictivo cuando la falla de ese modelo no resulta en nada que sea muy malo", dijo Brown. "Pero cuanto mayores sean las consecuencias del fracaso, mayor será el riesgo y más preciso debe ser el modelo".
Probando las aguas
Toronto ha estado tratando de deshacerse de su reputación como hogar de uno de los [más contaminados](https://www.canada.ca/en/environment-climate-change/services/great-lakes-protection/areas-concern/ toronto-region.html) frentes de agua en la región de los Grandes Lagos durante tres décadas. El problema se deriva del sistema de alcantarillado viejo y fácilmente abrumado de la ciudad, que recolecta tanto las aguas residuales residenciales como las pluviales para su tratamiento.
Cuando la lluvia o el uso excesivo empujan demasiada agua al sistema de alcantarillado de la ciudad, puede desbordarse y enviar aguas residuales sin tratar al lago Ontario y los ríos cercanos. En un verano típico, el sistema de alcantarillado de Toronto descarga más de 1600 millones de galones de aguas residuales sin tratar en el lago y los ríos cercanos, según un análisis del gobierno de [desbordamiento de aguas residuales](https://open.canada.ca/data/en/dataset/ 9e11e114-ef0d-4814-8d93-24af23716489) volúmenes entre 2017 y 2020.
Las aguas residuales no tratadas contienen altos niveles de la bacteria E. coli, que puede causar enfermedades leves a graves en humanos y enfermedades potencialmente mortales en niños, ancianos y otras personas con un riesgo elevado.
Toronto ha gastado cientos de millones de dólares canadienses en los últimos años para reducir la cantidad de desechos y bacterias peligrosas en sus 11 playas públicas y aumentar la confianza del público en la calidad del agua. Esa inversión ha tenido resultados mixtos.
Una parte clave del plan son las pruebas: durante la temporada de baño de verano, la ciudad recolecta muestras de agua diarias en cada una de sus playas y las envía a un laboratorio para que las analicen en busca de E. coli. Si las muestras promedian más de 100 grupos de E. coli por cada 100 mililitros de agua, la ciudad marca la playa como insegura para nadar. Un nivel de E. coli de 100 racimos por 100 mililitros pone a 32 de cada 1000 bañistas en riesgo de desarrollar enfermedades gastrointestinales, según estudios citados en Canadian water quality [directrices] (https://www.canada.ca/en/health- canada/programs/consultation-guidelines-recreational-water-quality-fecal-contamination/document.html).
Las pruebas de laboratorio que utiliza Toronto pueden tardar hasta 24 horas en proporcionar resultados. Entonces, históricamente, la ciudad basó sus decisiones de seguridad del agua en las condiciones de la playa del día anterior. A pesar del retraso, este método de prueba ha producido resultados confiables para la mayoría de las playas de Toronto, porque los niveles de bacterias generalmente cambian lentamente. Desde 2014, ocho de las playas de la ciudad han recibido regularmente [reconocimiento] internacional (https://www.cp24.com/news/eight-toronto-beaches-retain-blue-flag-status-1.1841879) por su limpieza, calidad del agua y recuentos constantemente bajos de E. coli.
Pero la ciudad ha tenido problemas para producir resultados similares en dos playas clave. La inversión de Toronto en tecnología de modelado predictivo fue un intento de medir mejor la calidad del agua en esas áreas. En su [sitio web] (https://www.toronto.ca/community-people/health-wellness-care/health-inspections-monitoring/swimsafe/beach-water-quality/about-beach-water-quality/), Toronto Public Health escribió que la tecnología le permitiría "pronosticar la calidad del agua con mucha más confianza en su precisión" que las pruebas de laboratorio del día anterior.
El modelo que utilizó Toronto Public Health fue desarrollado por Cann Forecast, una startup que nació de un [hackathon de tecnología del agua] de 2016 (https://laburbain.montreal.ca/sites/villeintelligente.montreal.ca/files/midterm_report_feb_2017.pdf) donde los participantes utilizaron datos de la ciudad de Montreal para crear soluciones tecnológicas que abordaran problemas de agua dulce. Un equipo de estudiantes universitarios e investigadores ganó el primer premio en el evento por desarrollar una aplicación que utilizó modelos predictivos para estimar la calidad del agua en las orillas del río St. Lawrence de Montreal. Algunos miembros del equipo formaron más tarde Cann Forecast, que tiene un contrato con Montreal desde al menos 2018 para proporcionar servicios de predicción de la calidad del agua.
En su sitio web, Cann Forecast describe su sistema de monitoreo del agua de la playa como un "algoritmo de inteligencia artificial" de alta tecnología que utiliza "aprendizaje automático" para proporcionar "avisos de calidad del agua en tiempo real que tienen una precisión del 90% en promedio".
Toronto Public Health otorgó un contrato no competitivo a Cann Forecast por CA $ 30,000 el año pasado para usar el modelo durante la temporada de natación de 2022 como parte de un programa piloto de un año. Los funcionarios de la ciudad creían que la compañía "era el único proveedor conocido" de herramientas de modelado predictivo para la calidad del agua de la playa, por lo que no abrieron el contrato a ofertas competidoras, dijo un portavoz de la ciudad a The Information.
En última instancia, el modelo predictivo demostró ser peor para identificar cuándo el agua no era segura que los métodos anteriores de la ciudad, según el análisis de The Information de los datos de calidad del agua recopilados por Toronto Public Health. Entre junio y septiembre, el modelo predictivo declaró que una de las dos playas era segura 46 veces cuando los niveles de E. coli excedieron las pautas.
En una playa, Sunnyside, hubo 50 días en los que el agua contenía niveles peligrosos de bacterias E. coli y 44 días en los que el agua era segura para nadar, según un análisis de los resultados de las muestras de agua diarias. De esos 50 días inseguros, el modelo predictivo identificó correctamente solo 19. Eso significa que los funcionarios abrieron Sunnyside Beach en 31 días cuando los niveles de bacterias eran peligrosamente altos. Si la ciudad hubiera seguido con sus métodos anteriores para evaluar la calidad del agua, habría declarado por error que la playa era segura para nadar en 23 días con altos recuentos de E. coli durante el mismo período, encontró el análisis de The Information.
Un portavoz de Toronto Public Health confirmó la precisión del análisis de The Information de los datos de Sunnyside. La agencia dijo que el modelo predictivo era solo un factor en las decisiones que finalmente toman las personas.
"Durante el proyecto piloto, las decisiones de publicar o no publicar una playa como segura fueron tomadas por el personal de Salud Pública de Toronto", dijo un portavoz del departamento. "Los pronósticos de modelos predictivos de inteligencia artificial fueron revisados por el personal que consideró cualquier anomalía antes de publicar o quitar la publicación de cada playa".
El portavoz no respondió a una pregunta sobre si los funcionarios alguna vez anularon el pronóstico del modelo. Pero los datos publicados por la ciudad muestran que las banderas de natación colocadas en las dos playas nunca difirieron de las predicciones del modelo.
El departamento aún está evaluando cómo se desempeñó el modelo y espera informar a fines de año, dijo el vocero. Si la ciudad decide seguir usando el modelo, trabajará para mejorarlo, dijo el vocero. "La experiencia de otras jurisdicciones sugiere que se pueden lograr mejoras significativas en la precisión con el análisis continuo y las mejoras de los modelos a lo largo del tiempo".
Cann Forecast se negó a comentar y remitió las preguntas sobre el modelo a Salud Pública de Toronto.
'El agua se veía asquerosa'
Isabel Fleisher, gerente del grupo de monitoreo de la calidad del agua Swim Drink Fish, con sede en Toronto, notó que algo andaba mal con las predicciones de la ciudad un par de semanas después de que el modelo se pusiera en marcha a principios de junio.
Nativo de Toronto y nadador recreativo, Fleisher vive cerca de Sunnyside Beach y verifica regularmente la calidad del agua antes de nadar. Su grupo, Swim Drink Fish, luego analiza el agua mediante una prueba de laboratorio similar a la de la ciudad y publica los resultados en su sitio web.
En junio, notó que la ciudad enumeraba regularmente a Sunnyside como seguro para nadar en los días en que las pruebas de laboratorio de la ciudad reportaban niveles altos de E. coli. A veces, la playa estaba abierta los días inmediatamente posteriores a una tormenta, cuando los niveles de bacterias suelen ser altos en áreas cercanas a los desagües de alcantarillado, como Sunnyside.
"El agua se veía asquerosa", dijo.
A medida que avanzaba el verano, Fleisher se preocupó más por las discrepancias, que continuaron después de que los resultados publicados por la ciudad indicaran que el modelo cometía errores con regularidad. A mediados de julio, se reunió con el gerente de Salud Pública de Toronto a cargo del experimento, Mahesh Patel, para discutir el tema, dijo Fleisher.
Durante la reunión, Patel dijo que Toronto Public Health estaba al tanto de los problemas con las capacidades de predicción del modelo, según Fleisher. "Admitió que estaba mal tener un [un nivel de E. coli de] 400 y dijo que era seguro", recordó Fleisher. Patel no respondió a una solicitud de comentarios.
Fleisher expresó sus preocupaciones al [Toronto Star](https://www.thestar.com/news/gta/2022/08/10/safe-for-swimming-torontos-new-tool-for-measuring-water-quality -at-its-beaches-is-misleading-say-advocates.html), que publicó un informe que cuestionaba la eficacia del modelo unas semanas más tarde, el 10 de agosto. En un comunicado enviado al Star, los funcionarios de salud pública defendieron el modelo diciendo que no se esperaba que fuera "100% preciso", pero lo llamó "una mejora significativa" con respecto al método de prueba anterior.
Cinco días después, los funcionarios de salud pública descubrieron que el modelo estaba usando datos meteorológicos defectuosos para emitir predicciones en Sunnyside Beach, dijo un portavoz de Salud Pública de Toronto a The Information en un comunicado. "Esta inexactitud se abordó, pero fue demasiado tarde para afectar los resultados generales del proyecto piloto", dijo el vocero.