Problème 5352

L'intelligence artificielle est rapidement adoptée pour prévenir les abus et protéger les personnes vulnérables, notamment les enfants placés en famille d'accueil, les adultes en maison de retraite et les élèves scolarisés. Ces outils promettent de détecter les dangers en temps réel et d'alerter les autorités avant qu'un préjudice grave ne survienne. Les développeurs utilisent par exemple le traitement du langage naturel (une forme d'IA qui interprète le langage écrit ou parlé) pour tenter de détecter des schémas de menaces, de manipulation et de contrôle dans les SMS. Ces informations pourraient contribuer à détecter les violences conjugales et potentiellement aider les tribunaux ou les forces de l'ordre à intervenir rapidement. Certains organismes de protection de l'enfance utilisent la modélisation prédictive, une autre technique d'IA courante, pour déterminer quelles familles ou quels individus sont les plus « à risque » de violence.

Mise en œuvre judicieusement, les outils d'IA peuvent améliorer la sécurité et l'efficacité. Par exemple, les modèles prédictifs ont aidé les travailleurs sociaux à prioriser les cas à haut risque et à intervenir plus tôt.

Mais en tant que travailleur social avec 15 ans d'expérience dans la recherche sur la violence familiale et cinq ans en première ligne en tant que gestionnaire de dossiers de placement familial, enquêteur sur la maltraitance des enfants et coordinateur de la petite enfance, j'ai constaté à quel point les systèmes bien intentionnés négligent souvent les personnes qu'ils sont censés protéger.

Je participe actuellement au développement d'iCare, une caméra de surveillance alimentée par l'IA qui analyse les mouvements des membres – et non les visages ou les voix – pour détecter les violences physiques. Je suis confronté à une question cruciale : l'IA peut-elle réellement contribuer à protéger les personnes vulnérables, ou se contente-t-elle d'automatiser les systèmes qui leur causent depuis longtemps du tort ?

Nouvelles technologies, vieilles injustices

De nombreux outils d'IA sont entraînés à « [apprendre] » en analysant des données historiques](https://theconversation.com/ai-doesnt-really-learn-and-knowing-why-will-help-you-use-it-more-responsibly-250923). Mais l'histoire est pleine d'inégalités, de préjugés et d'hypothèses erronées. Il en va de même pour ceux qui conçoivent, testent et financent l'IA.

Cela signifie que les algorithmes d'IA peuvent finir par reproduire des formes systémiques de discrimination, comme le racisme ou le classisme. Une étude de 2022 dans le comté d'Allegheny, en Pennsylvanie, a révélé qu'un modèle de risque prédictif permettant d'évaluer le niveau de risque des familles (des scores attribués au personnel de la ligne d'assistance téléphonique pour les aider à filtrer les appels) aurait signalé les enfants noirs devant faire l'objet d'une enquête 20 % plus souvent que les enfants blancs, s'il avait été utilisé sans surveillance humaine. Lorsque les travailleurs sociaux étaient impliqués dans la prise de décision, cette disparité tombait à 9 %.

L'IA basée sur le langage peut également renforcer les biais. Par exemple, une étude a montré que les systèmes de traitement du langage naturel classaient à tort l'anglais vernaculaire afro-américain comme « agressif » à un taux significativement plus élevé que l'anglais américain standard – jusqu'à 62 % plus souvent, dans certains contextes.

Par ailleurs, une étude de 2023 a révélé que les modèles d'IA ont souvent du mal à saisir les indices contextuels, ce qui signifie que les messages sarcastiques ou plaisants peuvent être classés à tort comme des menaces sérieuses ou des signes de détresse.

Ces failles peuvent reproduire des problèmes plus importants dans les systèmes de protection. Les personnes de couleur sont depuis longtemps sur-surveillées par les services de protection de l'enfance, parfois en raison de malentendus culturels, parfois de préjugés. Des études ont montré que les familles noires et autochtones sont confrontées à des taux de signalement, d'enquête et de séparation nettement plus élevés que les familles blanches, même après prise en compte des revenus et d'autres facteurs socio-économiques. Nombre de ces disparités résultent d'un racisme structurel ancré dans des décennies de décisions politiques discriminatoires, ainsi que dans des préjugés implicites et des décisions discrétionnaires prises par des travailleurs sociaux surchargés.

Surveillance de l'accompagnement

Même lorsque les systèmes d'IA réduisent les préjudices envers les groupes vulnérables, ils le font souvent à un coût inquiétant.

Dans les hôpitaux et les établissements de soins pour personnes âgées, par exemple, des caméras équipées d'IA ont été utilisées pour détecter les agressions physiques entre le personnel, les visiteurs et les résidents. Bien que les fournisseurs commerciaux présentent ces outils comme des innovations en matière de sécurité, leur utilisation soulève de sérieuses préoccupations éthiques quant à l'équilibre entre protection et confidentialité.

Dans le cadre d'un programme pilote mené en Australie en 2022, des systèmes de caméras IA déployés dans deux maisons de retraite ont généré plus de 12 000 fausses alertes sur une période de 12 mois, submergeant le personnel et manquant au moins un incident réel. Selon le rapport indépendant, la précision du programme n'a pas atteint un niveau acceptable pour le personnel et la direction.

Les enfants sont également touchés. Dans les écoles américaines, des outils de surveillance par IA comme Gaggle, GoGuardian et Securly sont présentés comme des outils de sécurité pour les élèves. Ces programmes peuvent être installés sur les appareils des élèves pour surveiller leur activité en ligne et signaler tout élément suspect.

Ils ont également été démontrés qu'ils signalaient des comportements inoffensifs, comme l'écriture de nouvelles légèrement violentes ou la réalisation de recherches sur des sujets liés à la santé mentale. Comme l'a révélé une enquête de l'Associated Press, ces systèmes ont également révélé l'identité des élèves LGBTQ+ aux parents ou aux administrateurs scolaires en surveillant les recherches ou les conversations sur le genre et la sexualité.

D'autres systèmes utilisent des caméras et des microphones en classe pour détecter les « agressions ». Mais ils se trompent souvent sur des comportements normaux, comme le rire, la toux ou les bagarres, ce qui entraîne parfois une intervention ou des sanctions disciplinaires.

Il ne s'agit pas de problèmes techniques isolés ; ils reflètent de profondes failles dans la manière dont l'IA est formée et déployée. Les systèmes d'IA apprennent à partir de données passées, sélectionnées et étiquetées par des humains – des données qui reflètent souvent des inégalités et des biais sociaux. Comme l'a écrit la sociologue Virginia Eubanks dans « Automating Inequality » (https://us.macmillan.com/books/9781250074317/automatinginequality/), les systèmes d'IA risquent d'aggraver ces préjudices persistants. Prendre soin, pas punir

Je crois que l'IA peut encore être une force positive, mais seulement si ses développeurs accordent la priorité à la dignité des personnes que ces outils sont censés protéger. J'ai développé un cadre de quatre principes clés pour ce que j'appelle une « IA sensible aux traumatismes ».

1. Contrôle des survivants : Chacun devrait avoir son mot à dire sur les modalités, les moments et l'opportunité de leur surveillance. Donner aux utilisateurs un meilleur contrôle sur leurs données peut renforcer la confiance dans les systèmes d'IA et accroître leur engagement envers les services d'assistance, comme la création de plans personnalisés pour assurer leur sécurité ou accéder à de l'aide.

2. Supervision humaine : Des études montrent que la combinaison de l’expertise des travailleurs sociaux avec le soutien de l’IA améliore l’équité et réduit la maltraitance des enfants - comme dans le comté d’Allegheny, où les travailleurs sociaux ont utilisé les scores de risque algorithmiques comme facteur, en plus de leur jugement professionnel, pour décider quels signalements de maltraitance d’enfants enquêter.

3. Audit des biais : Les gouvernements et les développeurs sont de plus en plus encouragés à tester les systèmes d’IA pour détecter les biais raciaux et économiques. Des outils open source comme AI Fairness 360 d'IBM, What-If Tool de Google et Fairlearn contribuent à détecter et à réduire ces biais dans les modèles d'apprentissage automatique.

4. Confidentialité dès la conception : la technologie doit être conçue pour protéger la dignité des personnes.  Outils open source comme Amnesia, differential privacy library de Google et SmartNoise de Microsoft contribuent à anonymiser les données sensibles en supprimant ou en masquant les informations identifiables. De plus, des techniques basées sur l'IA, comme le floutage du visage, peuvent anonymiser l'identité des personnes dans les données vidéo ou photographiques.

Respecter ces principes implique de construire des systèmes qui réagissent avec bienveillance, et non avec punition.

Des modèles prometteurs émergent déjà. La Coalition contre les stalkerwares et ses partenaires plaident pour l'inclusion des survivants à toutes les étapes du développement technologique, de l'évaluation des besoins aux tests utilisateurs et au contrôle éthique.

La législation est également importante. Le 5 mai 2025, par exemple, le gouverneur du Montana a signé une loi interdisant aux gouvernements des États et locaux d'utiliser l'IA pour prendre des décisions automatisées concernant des individus sans surveillance humaine significative. Cette loi exige la transparence sur l'utilisation de l'IA dans les systèmes gouvernementaux et interdit le profilage discriminatoire.

Comme je le dis à mes étudiants, les interventions innovantes doivent interrompre les cycles de préjudice, et non les perpétuer. L'IA ne remplacera jamais la capacité humaine à contextualiser et à faire preuve de compassion. Mais avec les bonnes valeurs au cœur de ses préoccupations, elle pourrait nous aider à en faire davantage.