Incidents associés
Une étude a révélé qu'un projet pilote de 12 mois de technologie de surveillance basée sur l'IA, conçue pour détecter les chutes et les maltraitances dans deux maisons de retraite d'Australie du Sud, a généré plus de 12 000 fausses alertes.
Le nombre important d'alertes a engendré une lassitude qui a « submergé » un personnel déjà surchargé. Dans au moins un cas, la persistance de fausses alertes a empêché un membre du personnel d'intervenir suite à une chute réelle d'un résident.
Le projet pilote de vidéosurveillance a débuté à Mt Pleasant Aged Care et à Hortgate House en mars 2021. Des caméras et des microphones ont été installés dans les espaces communs et les chambres des résidents. 41 des 57 résidents ou leurs tuteurs ont donné leur consentement pour l'activation des appareils d'enregistrement dans les chambres.
Le projet visait à « explorer l'acceptabilité et la viabilité du recours à la surveillance et au suivi en établissement de soins » dans le but d'améliorer la qualité de l'accompagnement et la sécurité dans les établissements de soins aux personnes âgées.
Des rapports contradictoires sur le secteur ont été entendus lors de la Commission royale d'enquête sur la qualité et la sécurité des soins aux personnes âgées, qui a duré trois ans et a formulé des dizaines de recommandations d'amélioration dans son rapport final de mars 2021.
Le système a été programmé pour « détecter des mouvements ou des sons spécifiques, notamment des chutes, des aides, des appels à l'aide ou des cris », et un SMS a été envoyé à un centre de surveillance lorsqu'un événement se produit. Le message est ensuite transmis au personnel du centre de soins pour personnes âgées.
L'IA utilisée a également été « conçue pour apprendre au fil du temps et améliorer sa capacité à reconnaître les actions ou les signaux sonores spécifiques aux sites et aux résidents ».
Cependant, une évaluation indépendante réalisée par PwC a révélé que la technologie d'IA générait un taux d'alertes élevé, ce qui signifie que le projet pilote n'était pas encore suffisamment précis pour détecter les incidents dans un établissement de soins pour personnes âgées. « Malgré les améliorations apportées au fil du temps, durant les 12 mois du projet pilote, le système a généré plus de 12 000 événements sur les deux sites, dont la nature n'a pas été vérifiée », indique le rapport, ajoutant qu'un pourcentage élevé de ces alertes concernait des mouvements accroupis du personnel, un mouvement programmé.
« Dans ces cas, bien que le système détectait les mouvements ou les sons pour lesquels il était programmé, il était incapable de distinguer de manière fiable les événements programmés des mouvements ou sons similaires, normalement prévisibles dans les établissements de soins. » Le rapport indique que, si certaines « fausses alertes » étaient attendues pendant la période d'apprentissage de l'IA, leur volume élevé était « inattendu », ce qui a conduit à l'introduction d'une alerte de « chute assise » reconnaissant la position accroupie dans le projet pilote en octobre 2021.
Cependant, comme le mouvement de mise à genoux ressemble à une « position de soins courante utilisée par les infirmières et les aides-soignants – la position du chevalier » –, le système a également détecté ce mouvement comme une chute, ce qui a entraîné une forte augmentation des fausses alertes.
La maturation du système au cours des derniers mois du projet pilote lui a permis de « détecter de véritables événements liés à la qualité et à la sécurité, notamment des chutes de résidents », avec 22 % des événements réels détectés, contre seulement 2 % au début de l'essai.
Cependant, la lassitude liée aux alertes a persisté et, au cours des « derniers mois du projet pilote, le personnel n'était plus en mesure de répondre à toutes les alertes », ce qui a conduit à « au moins un cas où le personnel n'a pas répondu à une alerte qui s'est avérée être une « véritable » chute de résident ».
L'évaluation a révélé que le nombre de fausses alertes détectées sur les sites par le système de vidéosurveillance était inattendu et inacceptable pour le personnel, indique le rapport.
Le nombre de fausses alertes au cours des premiers mois du projet pilote signifie que le personnel des deux sites était débordé par la charge de travail liée à la réponse aux alertes.
Le rapport a constaté qu'à l'issue du projet pilote, rien ne prouvait que la surveillance par IA utilisée dans le cadre du projet pilote ait eu une influence, positive ou négative, sur la qualité et la sécurité des soins dispensés sur les sites.
Le ministre de la Santé d'Australie-Méridionale, Chris Picton, a déclaré que le déploiement « bâclé » avait conduit le personnel à réagir à plusieurs reprises à des alertes signalant un « risque pour la sécurité des résidents, alors qu'il n'y en avait pas au départ ».
« Le personnel a donc dû réagir à maintes reprises à de fausses alertes provenant de ce système, ce qui l'a contraint à consacrer du temps aux soins des patients au chevet du patient pour signaler des problèmes liés à ce système informatique défaillant », a-t-il déclaré aux journalistes mercredi.
« Il est clair que le système n'a pas fonctionné correctement ; le niveau de fausses alertes est clairement inacceptable et le personnel a donc dû prendre des mesures pour ne pas pouvoir répondre à toutes ces fausses alertes. »
« Le rapport souligne que, même si certains signalements étaient avérés, le personnel n'y répondait pas, car le système était devenu le « garçon qui criait au loup ». »