Incidents associés
WASHINGTON – Les responsables de la protection de l'enfance de l'Oregon cesseront d'utiliser un algorithme pour aider à décider quelles familles font l'objet d'une enquête par les travailleurs sociaux, optant plutôt pour un nouveau processus qui, selon les responsables, permettra de prendre des décisions meilleures et plus équitables sur le plan racial.
Cette décision intervient des semaines après un examen par l'Associated Press d'un outil algorithmique distinct en Pennsylvanie qui avait initialement inspiré les responsables de l'Oregon à développer leur modèle, et s'est avéré avoir signalé un nombre disproportionné d'enfants noirs pour des enquêtes de négligence "obligatoires" lors de sa première apparition. place.
Le département des services sociaux de l'Oregon a annoncé au personnel par e-mail le mois dernier qu'après une "analyse approfondie", les travailleurs de la hotline de l'agence cesseraient d'utiliser l'algorithme fin juin pour réduire les disparités concernant les familles faisant l'objet d'une enquête pour maltraitance et négligence d'enfants par les services de protection de l'enfance.
"Nous nous engageons à améliorer continuellement la qualité et l'équité", a déclaré Lacey Andresen, directrice adjointe de l'agence, dans le courriel du 19 mai.
Jake Sunderland, un porte-parole du département, a déclaré que l'algorithme existant "ne serait plus nécessaire", car il ne peut pas être utilisé avec le nouveau processus de sélection de l'État. Il a refusé de fournir plus de détails sur les raisons pour lesquelles l'Oregon a décidé de remplacer l'algorithme et n'a pas précisé les disparités connexes qui ont influencé le changement de politique.
'Suivi'
Les décisions des agents d'assistance téléphonique concernant les signalements de maltraitance et de négligence envers les enfants marquent un moment critique dans le processus d'enquête, lorsque les travailleurs sociaux décident pour la première fois si les familles doivent faire face à l'intervention de l'État. Les enjeux sont élevés – ne pas répondre à une allégation pourrait se terminer par la mort d'un enfant, mais examiner la vie d'une famille pourrait les préparer à la séparation.
De la Californie au Colorado et en Pennsylvanie, alors que les agences de protection de l'enfance utilisent ou envisagent de mettre en œuvre des algorithmes, un examen de l'AP a identifié des préoccupations concernant la transparence, la fiabilité et les disparités raciales dans l'utilisation de la technologie, y compris leur potentiel à renforcer les préjugés dans le système de protection de l'enfance.
Le sénateur américain Ron Wyden, un démocrate de l'Oregon, a déclaré qu'il était depuis longtemps préoccupé par les algorithmes utilisés par le système de protection de l'enfance de son État et a de nouveau contacté le département après l'histoire de l'AP pour poser des questions sur les préjugés raciaux – une préoccupation dominante avec la croissance utilisation d'outils d'intelligence artificielle dans les services de protection de l'enfance.
"Prendre des décisions sur ce qui devrait arriver aux enfants et aux familles est une tâche bien trop importante pour donner des algorithmes non testés", a déclaré Wyden dans un communiqué. "Je suis heureux que le département des services sociaux de l'Oregon prenne au sérieux les préoccupations que j'ai soulevées concernant les préjugés raciaux et suspende l'utilisation de son outil de dépistage."
Sunderland a déclaré que les responsables de la protection de l'enfance de l'Oregon envisageaient depuis longtemps de modifier leur processus d'enquête avant de faire l'annonce le mois dernier.
Il a ajouté que l'État a récemment décidé que l'algorithme serait complètement remplacé par son nouveau programme, appelé le modèle de prise de décision structurée, qui s'aligne sur de nombreuses autres juridictions de protection de l'enfance à travers le pays.
L'outil de dépistage de la sécurité de l'Oregon a été inspiré par l'influent Allegheny Family Screening Tool, qui porte le nom du comté entourant Pittsburgh, et vise à prédire le risque auquel les enfants sont confrontés de se retrouver en famille d'accueil ou de faire l'objet d'une enquête à l'avenir. Il a été mis en œuvre pour la première fois en 2018. Les travailleurs sociaux consultent les scores de risque numériques générés par l'algorithme - plus le nombre est élevé, plus le risque est grand - lorsqu'ils décident si un autre travailleur social doit sortir pour enquêter sur la famille.
Mais les responsables de l'Oregon ont modifié leur algorithme d'origine pour ne s'appuyer que sur les données internes de protection de l'enfance dans le calcul du risque d'une famille, et ont délibérément tenté de lutter contre les préjugés raciaux dans sa conception avec une "correction d'équité".
En réponse aux conclusions des chercheurs de l'Université Carnegie Mellon selon lesquelles l'algorithme du comté d'Allegheny a initialement signalé un nombre disproportionné de familles noires pour des enquêtes «obligatoires» sur la négligence envers les enfants, les responsables du comté ont qualifié la recherche d '«hypothétique» et ont noté que les travailleurs sociaux peuvent toujours remplacer l'outil, ce qui n'a jamais été conçu pour être utilisé seul.
Wyden est l'un des principaux sponsors d'un projet de loi visant à établir la transparence et la surveillance nationale des logiciels, algorithmes et autres systèmes automatisés.
"Avec les moyens de subsistance et la sécurité des enfants et des familles en jeu, la technologie utilisée par l'État doit être équitable - et je continuerai à surveiller", a déclaré Wyden.
Le deuxième outil développé par l'Oregon - un algorithme pour aider à décider quand les enfants en famille d'accueil peuvent être réunis avec leurs familles - reste en pause alors que les chercheurs retravaillent le modèle. Sunderland a déclaré que le pilote avait été interrompu il y a des mois en raison de données inadéquates, mais qu'il n'y avait "aucune attente qu'il ne soit bientôt rétabli".
Ces dernières années, alors qu'elle était sous le contrôle d'un comité de surveillance de la crise ordonné par le gouverneur, l'agence d'État - qui se prépare actuellement à embaucher son huitième nouveau directeur de la protection de l'enfance en six ans - a envisagé trois algorithmes supplémentaires, y compris des modèles prédictifs qui cherchaient à évaluer le risque d'un enfant pour décès et blessures graves, si les enfants doivent être placés en famille d'accueil et, si oui, où. Sunderland a déclaré que le département de la protection de l'enfance n'avait cependant jamais construit ces outils.