Plus tôt cette année, le service de santé publique de Toronto a tranquillement activé une expérience ciblant les plages les plus sujettes à la pollution de la ville.
Au lieu de s'appuyer sur des tests de laboratoire d'un jour pour s'assurer que les gens ne nagent pas dans des eaux insalubres, la ville a exploité la magie de l'intelligence artificielle en passant un contrat avec Cann Forecast, une startup basée à Montréal dont les produits de modélisation prédictive utilisent l'IA et l'apprentissage automatique pour prévoir la qualité de l'eau. À partir de juin, les responsables ont utilisé le modèle de Cann pour décider quand deux des plages les plus fréquemment contaminées de Toronto devraient être ouvertes au public et quand l'eau était dangereuse.
Presque immédiatement, l'expérience a commencé à mal tourner. Le modèle a régulièrement déclaré que les plages étaient sûres pour la baignade les jours où l'histoire ou l'apparence de l'eau suggéraient que ce n'était pas sûr. Les responsables de la ville ont dissipé les inquiétudes des résidents et d'un groupe local de surveillance de l'environnement concernant les écarts, arguant que l'outil d'IA était plus précis que les méthodes de test traditionnelles.
Mais une analyse des données sur la qualité de l'eau des deux plages par The Information a révélé que le modèle prédictif était moins précis que la méthode précédente de la ville et moins précis qu'un tirage au sort. Au total, le modèle a signalé un peu plus d'un jour sur trois où l'eau n'était pas sûre, ce qui a conduit à près de 50 cas cet été où des plages avec des niveaux dangereux de bactéries étaient ouvertes au public pour la baignade.
Les luttes de Toronto mettent en évidence les défis pour les gouvernements alors qu'ils déploient des modèles prédictifs et d'autres outils d'IA. Ces dernières années, les organismes publics du Michigan à Australie se sont tournés vers l'automatisation pour améliorer l'efficacité de processus tels que le recouvrement de créances et la fraude aux prestations, avec des résultats mitigés.
Les agences de protection de l'enfance à travers les États-Unis ont déployé des algorithmes pour aider les travailleurs sociaux à hiérarchiser les enquêtes, malgré peu de preuves qu'ils fonctionnent et de multiples exemples de résultats biaisés par la race. Un de ces outils, développé par une agence de protection de l'enfance en Pennsylvanie, s'est avéré de manière disproportionnée signaler les enfants noirs pour des enquêtes sur la négligence ; certains travailleurs sociaux ont essayé d'ajuster manuellement les scores pour réduire les biais. Les responsables de l'Oregon, qui avaient adopté un système similaire, ont cessé d'utiliser leur version de l'outil en juin, à la suite de recherches universitaires et d'un rapport de l'Associated Press soulignant les inquiétudes concernant le système utilisé en Pennsylvanie.
"C'est un biais d'automatisation", a déclaré Shea Brown, fondatrice et PDG de Babl AI, une société de conseil axée sur le déploiement éthique d'algorithmes. "En l'absence de beaucoup de contrôle, les gens ont tendance à se tourner vers l'outil automatisé", en partie pour transférer la responsabilité à un programme informatique, a déclaré Brown.
Une partie du problème réside dans la façon dont ces technologies sont commercialisées, a déclaré Arvind Narayanan, professeur d'informatique à l'Université de Princeton, qui écrit un livre sur l'essor de ce qu'il appelle [bogus AI](https://aisnakeoil.substack.com/ p/a-sneak-peak-into-the-book). "Ils vendent ces outils sur la base de la promesse d'une automatisation complète, mais lorsque des inquiétudes sont soulevées concernant les biais, les défaillances catastrophiques ou d'autres limitations bien connues de l'IA, ils se replient sur les petits caractères, qui disent que l'outil ne doit pas être utilisé sur la sienne », a-t-il dit. C'est problématique, a déclaré Narianan, "parce que la surveillance humaine annulerait les économies de coûts que [les utilisateurs] espéraient lorsqu'ils ont acheté l'outil".
Ordonné par le Congrès de réduire la récidive, le ministère américain de la Justice a développé en 2018 un algorithme, connu sous le nom de Pattern, pour déterminer la probabilité qu'une personne en prison soit arrêtée ou entre en contact avec le système de justice pénale après sa libération. Les personnes classées par l'algorithme comme à faible risque sont plus susceptibles d'avoir accès à des programmes de réadaptation qui peuvent raccourcir leurs peines de prison, tandis que celles classées comme à haut risque font face à des obstacles importants.
Selon des rapports [publiés](https://nij.ojp.gov/library/publications/2021-review-and-revalidation-first-step-act-risk- outil d'évaluation) par le ministère de la Justice et le Congrès témoignage. De récents examens sur l'efficacité de l'outil ont révélé qu'il surestimait le risque de récidive pour les Noirs, les Hispaniques et les Asiatiques, et conduit au mauvais classement de 14 000 personnes incarcérées.
"Il est parfaitement acceptable d'utiliser un modèle prédictif lorsque l'échec de ce modèle n'entraîne rien de très mauvais", a déclaré Brown. "Mais plus les conséquences d'un échec sont importantes, plus les enjeux sont importants et plus le modèle doit être précis."
Tester les eaux
Toronto a tenté de se débarrasser de sa réputation d'abriter l'un des [plus pollués](https://www.canada.ca/en/environment-climate-change/services/great-lakes-protection/areas-concern/ toronto-region.html) fronts de mer dans la région des Grands Lacs pendant trois décennies. Le problème découle du système d'égouts vieillissant et facilement submergé de la ville, qui recueille à la fois les eaux usées résidentielles et les eaux pluviales pour les traiter.
Lorsque la pluie ou une utilisation excessive poussent trop d'eau dans le réseau d'égouts de la ville, celui-ci peut déborder, envoyant des eaux usées non traitées dans le lac Ontario et les rivières avoisinantes. Au cours d'un été typique, le système d'égouts de Toronto déverse plus de 1,6 milliard de gallons d'eaux usées brutes dans le lac et les rivières avoisinantes, selon l'analyse gouvernementale de [débordement d'eaux usées](https://open.canada.ca/data/en/dataset/ 9e11e114-ef0d-4814-8d93-24af23716489) volumes entre 2017 et 2020.
Les eaux usées non traitées contiennent des niveaux élevés de bactéries E. coli, qui peuvent causer des maladies légères à graves chez les humains et des maladies potentiellement mortelles chez les enfants, les personnes âgées et les autres personnes à risque élevé.
Toronto a dépensé des centaines de millions de dollars canadiens au cours des dernières années pour réduire la quantité de déchets et de bactéries dangereuses sur ses 11 plages publiques et accroître la confiance du public dans la qualité de l'eau. Cet investissement a eu des résultats mitigés.
Un élément clé du plan est le test : pendant la saison de baignade estivale, la ville collecte quotidiennement des échantillons d'eau sur chacune de ses plages et les envoie à un laboratoire pour qu'ils soient testés pour E. coli. Si les échantillons contiennent en moyenne plus de 100 grappes d'E. coli par 100 millilitres d'eau, la ville marque la plage comme impropre à la baignade. Selon des études citées dans Canadian water quality [guidelines](https://www.canada.ca/en/health- canada/programs/consultation-guidelines-recreational-water-quality-fecal-contamination/document.html).
Les tests de laboratoire utilisés par Toronto peuvent prendre jusqu'à 24 heures pour fournir des résultats. Ainsi, la ville a historiquement basé ses décisions en matière de sécurité aquatique sur les conditions de la plage de la veille. Malgré le décalage, cette méthode de test a produit des résultats fiables pour la plupart des plages de Toronto, car les niveaux de bactéries changent généralement lentement. Depuis 2014, huit des plages de la ville ont régulièrement reçu une [reconnaissance] internationale(https://www.cp24.com/news/eight-toronto-beaches-retain-blue-flag-status-1.1841879) pour leur propreté, la qualité de leur eau et un nombre constamment faible d'E. coli.
Mais la ville a eu du mal à produire des résultats similaires sur deux plages clés. L'investissement de Toronto dans la technologie de modélisation prédictive visait à mieux évaluer la qualité de l'eau dans ces régions. Sur son site Web, La santé publique de Toronto a écrit que la technologie lui permettrait de "prévoir la qualité de l'eau avec une confiance beaucoup plus grande dans sa précision" que pour les tests de laboratoire d'un jour.
Le modèle utilisé par Toronto Public Health a été développé par Cann Forecast, une startup née d'un [water-tech hackathon] en 2016 (https://laburbain.montreal.ca/sites/villeintelligente.montreal.ca/files/midterm_report_feb_2017.pdf) où les participants ont utilisé des données de la ville de Montréal pour créer des solutions technologiques répondant aux problèmes d'eau douce. Une équipe d'étudiants universitaires et de chercheurs a remporté le premier prix lors de l'événement pour avoir développé une application utilisant la modélisation prédictive pour estimer la qualité de l'eau sur les rives du fleuve Saint-Laurent à Montréal. Certains membres de l'équipe ont ensuite formé Cann Forecast, qui a conclu un contrat avec Montréal depuis au moins 2018 pour fournir des services de prévision de la qualité de l'eau.
Sur son site Web, Cann Forecast décrit son système de surveillance de l'eau des plages comme un "algorithme d'intelligence artificielle" de haute technologie qui utilise "l'apprentissage automatique" pour fournir "des avis en temps réel sur la qualité de l'eau qui sont précis à 90 % en moyenne".
La santé publique de Toronto a attribué l'année dernière un contrat non concurrentiel à Cann Forecast pour 30 000 $ CA pour utiliser le modèle pendant la saison de natation 2022 dans le cadre d'un programme pilote d'un an. Les responsables de la ville pensaient que la société "était le seul fournisseur connu" d'outils de modélisation prédictive pour la qualité de l'eau des plages, ils n'ont donc pas ouvert le contrat à des offres concurrentes, a déclaré un porte-parole de la ville à The Information.
En fin de compte, le modèle prédictif s'est avéré moins efficace pour identifier le moment où l'eau était insalubre que les méthodes précédentes de la ville, selon l'analyse par The Information des données sur la qualité de l'eau recueillies par la santé publique de Toronto. Entre juin et septembre, le modèle prédictif a déclaré que l'une des deux plages était sûre 46 fois lorsque les niveaux d'E. coli dépassaient les recommandations.
Sur une plage, Sunnyside, il y a eu 50 jours où l'eau contenait des niveaux dangereux de bactéries E. coli et 44 jours où l'eau était sans danger pour la baignade, selon une analyse des résultats d'échantillons d'eau quotidiens. Sur ces 50 jours dangereux, le modèle prédictif n'en a correctement identifié que 19. Cela signifie que les autorités ont ouvert Sunnyside Beach 31 jours lorsque les niveaux de bactéries étaient dangereusement élevés. Si la ville avait conservé ses méthodes précédentes d'évaluation de la qualité de l'eau, elle aurait déclaré par erreur que la plage était sûre pour nager pendant 23 jours avec un nombre élevé d'E. coli au cours de la même période, selon l'analyse de The Information.
Un porte-parole de la santé publique de Toronto a confirmé l'exactitude de l'analyse des données de Sunnyside par The Information. L'agence a déclaré que le modèle prédictif n'était qu'un facteur dans les décisions finalement prises par les gens.
"Pendant le projet pilote, les décisions d'afficher ou non une plage comme sûre ont été prises par le personnel de la santé publique de Toronto", a déclaré un porte-parole du ministère. "Les prévisions de modélisation prédictive de l'intelligence artificielle ont été examinées par le personnel qui a pris en compte toute anomalie avant d'afficher ou de supprimer chaque plage."
Le porte-parole n'a pas répondu à la question de savoir si les responsables avaient déjà dépassé les prévisions du modèle. Mais les données publiées par la ville montrent que les drapeaux de natation affichés sur les deux plages n'ont jamais différé des prédictions du modèle.
Le département évalue toujours les performances du modèle et prévoit de faire rapport d'ici la fin de l'année, a déclaré le porte-parole. Si la ville décide de continuer à utiliser le modèle, elle s'efforcera de l'améliorer, a déclaré le porte-parole. "L'expérience d'autres juridictions suggère que des améliorations significatives de la précision peuvent être obtenues grâce à une analyse continue et à des améliorations des modèles au fil du temps."
Cann Forecast a refusé de commenter et a renvoyé les questions sur le modèle à la santé publique de Toronto.
"L'eau avait juste l'air dégoûtante"
Isabel Fleisher, gestionnaire du groupe torontois de surveillance de la qualité de l'eau Swim Drink Fish, a remarqué que quelque chose n'allait pas dans les prévisions de la ville quelques semaines après la mise en service du modèle au début de juin.
Originaire de Toronto et nageur récréatif, Fleisher vit près de Sunnyside Beach et vérifie régulièrement la qualité de l'eau avant de se baigner. Son groupe, Swim Drink Fish, analyse ensuite l'eau à l'aide d'un test de laboratoire similaire à celui de la ville et publie les résultats sur son site Web.
En juin, elle a remarqué que la ville classait régulièrement Sunnyside comme étant sans danger pour la baignade les jours où les propres tests de laboratoire de la ville signalaient des niveaux élevés d'E. coli. Parfois, la plage était ouverte les jours suivant immédiatement une tempête de pluie, lorsque les niveaux de bactéries sont souvent élevés dans les zones proches des sorties d'égout, comme Sunnyside.
"L'eau avait juste l'air dégoûtante", a-t-elle déclaré.
Au fil de l'été, Fleisher s'est inquiété davantage des écarts, qui se sont poursuivis après que les résultats publiés par la ville aient indiqué que le modèle faisait régulièrement des erreurs. À la mi-juillet, elle a rencontré le responsable de la santé publique de Toronto responsable de l'expérience, Mahesh Patel, pour discuter de la question, a déclaré Fleisher.
Au cours de la réunion, Patel a déclaré que la santé publique de Toronto était consciente des problèmes liés aux capacités de prédiction du modèle, selon Fleisher. "Il a admis que c'était une erreur d'avoir un [un niveau d'E. coli de] 400 et de dire que c'était sûr", se souvient Fleisher. Patel n'a pas répondu à une demande de commentaire.
Fleisher a fait part de ses préoccupations au [Toronto Star](https://www.thestar.com/news/gta/2022/08/10/safe-for-swimming-torontos-new-tool-for-measuring-water-quality -at-its-beaches-is-misleading-say-advocates.html), qui a publié un rapport remettant en question l'efficacité du modèle quelques semaines plus tard, le 10 août. Dans une déclaration au Star, les responsables de la santé publique ont défendu le modèle, affirmant qu'il n'était pas censé être "précis à 100%", mais l'a appelé "une amélioration significative" par rapport à la méthode de test précédente.
Cinq jours plus tard, les responsables de la santé publique ont découvert que le modèle utilisait des données météorologiques erronées pour émettre des prévisions à Sunnyside Beach, a déclaré un porte-parole de la santé publique de Toronto à The Information dans un communiqué. "Cette inexactitude a été corrigée, mais il était trop tard pour affecter les résultats globaux du projet pilote", a déclaré le porte-parole.