Bienvenue dansla base de données des incidents d'IA
Incident 1695: Un système de transcription médicale par intelligence artificielle aurait ajouté une fausse déclaration de consommation de champignons psychédéliques au dossier médical de la patiente australienne Rebecca Green.
“Une erreur commise par un assistant IA lors d'une consultation médicale plonge un patient dans le désarroi.”
L'intelligence artificielle écoute les consultations médicales de nombreuses personnes, mais elle ne les interprète pas toujours correctement.
Lors de son premier rendez-vous chez l'urologue, Rebecca Green s'est vu demander si elle consentait à ce que la consultation soit transcrite par une intelligence artificielle (IA).
Elle a répondu oui sans hésiter.
« Je ne veux pas me mettre à dos la médecin ni être cette patiente agaçante qui lui prend tout son temps », a-t-elle expliqué.
Mais cette décision allait lui causer beaucoup de stress, car l'IA a inventé une grave, mais fausse, accusation selon laquelle Mme Green consommait des drogues illégales.
« J'étais abasourdie et en larmes… l'IA a inventé que je prenais des champignons hallucinogènes. Je n'en ai jamais pris de ma vie », a-t-elle déclaré.
Une nouvelle étude menée par une association de défense des droits des patients soulève de sérieuses inquiétudes quant à l'utilisation de l'IA dans le domaine médical, en raison de sa propension à « halluciner » de faux symptômes ou de fausses affections, et met en garde contre les risques encourus par les patients.
Mme Green n'a découvert l'erreur qu'après son opération des calculs rénaux en mars, en lisant la lettre post-opératoire que son spécialiste avait envoyée à son médecin traitant.
Cette lettre indiquait que Mme Green avait consommé des champignons hallucinogènes à petites doses, ce qui pourrait expliquer les saignements antérieurs autour des reins.
« Que cette lettre affirme quelque chose de totalement infondé, mais susceptible d'avoir de graves conséquences pour moi… c'était terrifiant », a-t-elle déclaré.
« Je me suis sentie très mal à l'aise. Je n'ai pas reçu de la part du médecin l'attention et la proximité que j'espérais dans une situation aussi délicate. »
Mme Green était particulièrement stressée car elle percevait des indemnités pour accident du travail et craignait que toute mention de drogues illégales dans son dossier médical puisse nuire à sa demande.
L'AHPRA, principal organisme de réglementation des professionnels de santé en Australie, a déclaré que les cliniciens doivent systématiquement vérifier l'exactitude des informations fournies par un assistant virtuel afin de respecter leurs obligations professionnelles. Mme Green a affirmé qu'il était évident que son médecin ne l'avait pas fait.
« Si vous aviez vérifié cette lettre, vous auriez pu la corriger avant son envoi… Pourquoi n’êtes-vous pas plus à l’écoute de vos patients et de leur situation ? »
Suite à la plainte de Mme Green, l’urologue a présenté ses excuses par courrier.
« Soyez assurée que nous prenons très au sérieux l’exactitude de nos documents et nous sommes sincèrement désolés de cet incident », indiquait la lettre.
Le médecin a déclaré ne pas avoir pu déterminer comment l’allégation concernant les champignons s’était glissée dans le document, mais il semblait s’agir d’une erreur lors de la « dictée ou de la transcription ».
L’urologue a corrigé la correspondance et a indiqué dans sa lettre qu’elle allait revoir l’utilisation de l’IA dans sa pratique.
Le médecin n’a pas répondu aux questions de l’ABC concernant d’éventuels changements apportés depuis.
Une erreur d'IA dans l'identification du sein atteint de cancer
Mme Green s'estime chanceuse d'avoir repéré l'erreur, mais craint que certaines personnes ne soient pas conscientes des erreurs figurant dans leur dossier médical, ce qui pourrait avoir des répercussions sur leur santé, leur carrière ou leur assurance.
Cette semaine, ABC a révélé des cas où des assureurs santé privés demandaient aux prestataires de soins l'historique médical complet de leurs patients dans le cadre de pratiques d'audit « agressives ».
Les assistants IA de transcription médicale sont devenus courants dans le secteur de la santé. Le Collège royal australien des médecins généralistes (RACGP) estimait l'année dernière que 40 % des médecins généralistes les utilisaient régulièrement, mais ce chiffre était considéré comme sous-estimé.
Des études montrent que la transcription des consultations par une IA peut réduire la charge administrative des médecins généralistes et leur permettre de se concentrer davantage sur leurs patients plutôt que sur l'ordinateur.
Mais chaque avantage comporte des risques.
Un récent rapport de l'association de défense des droits numériques Digital Rights Watch (DRW) a révélé que les Australiens étaient exposés à des assistants médicaux IA non réglementés, parfois sans leur consentement, et que les erreurs commises pouvaient influencer les décisions cliniques.
Parmi les exemples d'erreurs relevées dans le rapport de DRW, on peut citer le cas d'un assistant médical ayant diagnostiqué un cancer du sein et diagnostiqué une personne comme étant épileptique, ce qui était faux.
Elizabeth Deveny, directrice générale du Consumers Health Forum of Australia, a déclaré recevoir fréquemment des plaintes concernant des erreurs de saisie commises par l'IA, les patients ne s'en apercevant que par hasard.
« Les gens font part de leur frustration face à la difficulté de trouver la source de l'erreur et d'obtenir la correction du dossier », a-t-elle expliqué.
Le Dr Deveny, qui participe actuellement à un important projet de recherche sur les assistants médicaux IA, estime que les médecins font peut-être trop confiance à l'IA.
« Il semblerait que pendant les premières semaines d'utilisation de l'IA, les médecins vérifient les informations avec beaucoup d'attention, puis cessent de le faire, car ils supposent que le résultat sera correct. »
Le Dr Sean Stevens, médecin généraliste à Perth, qui utilise un assistant de transcription depuis trois ans, explique qu'il lui incombe de vérifier chaque transcription, mais qu'il estime que la technologie gagne en précision.
« Il y a trois ans, je devais corriger de nombreuses erreurs sur chaque transcription. Aujourd'hui, je n'ai qu'une correction à faire toutes les trois ou quatre transcriptions. »
Le Dr Stevens est un fervent défenseur des technologies numériques ; il préside le comité Santé numérique et Innovation du RACGP et conseille l'un des principaux fournisseurs de services de transcription par intelligence artificielle. Il reconnaît cependant que l'IA a ses faiblesses et peut produire des résultats erronés, même s'ils semblent plausibles.
« Par exemple, elle peut se tromper de côté et dire "droite" au lieu de "gauche"... Il faut donc vérifier très attentivement, surtout pour les posologies », explique-t-il.
Il précise que l'utilisation de l'IA ne lui permet pas de voir plus de patients, mais qu'elle lui permet d'être plus ponctuel et de rédiger des comptes rendus plus complets.
Consentement à l'utilisation de l'IA
Le DRW a constaté d'importantes disparités dans la manière dont le consentement est obtenu. Certains médecins se contentent d'afficher un panneau dans la salle d'attente, ce qui ne respecte pas les exigences légales en matière de protection de la vie privée.
Dans d'autres cas, le consentement doit être donné lors de la prise de rendez-vous en ligne. De manière alarmante, certains patients se voient même refuser un rendez-vous s'ils refusent de donner leur consentement.
Le Dr Deveny a déclaré que le consentement doit être enthousiaste et pleinement éclairé, et que les patients doivent se sentir à l'aise de poser des questions, même si cela leur paraît intimidant.
Questions à poser aux patients concernant l'IA
Questions recommandées par le Consumer Health Forum lors de votre prochain rendez-vous médical :
-
Utilisez-vous l'IA actuellement ? Si oui, à quelles fins ?
-
Le médecin vérifiera-t-il tout avant que les informations ne soient versées à mon dossier médical ?
-
Pourrai-je obtenir une copie de mes notes si je le souhaite ?
-
Quelle est la procédure à suivre si je pense qu'il y a un problème ?
Le rapport du DRW a également mis en évidence que les personnes pourraient hésiter à aborder des sujets sensibles, comme les violences familiales, lorsqu'elles savent qu'une IA les écoute.
Le Dr Stevens a expliqué que c'est pourquoi il demande systématiquement le consentement éclairé à chaque consultation, même avec ses patients habituels.
« Il est primordial que les patients divulguent tout élément pertinent pour leur santé… et qu'ils sachent qu'ils peuvent refuser [l'IA]… en tant que médecin, il est de notre devoir de respecter ce choix », a-t-il déclaré.
La TGA signale les infractions et des mesures seront prises
Une douzaine de logiciels de transcription médicale par IA sont disponibles en Australie, mais aucun n'est agréé par l'autorité de réglementation, la Therapeutic Goods Administration (TGA), car si le produit prétend se limiter à la transcription et à la synthèse, il est exempté de contrôle.
La TGA considère comme « dispositif médical » uniquement les outils qui proposent des fonctions telles que la suggestion d'un diagnostic ou d'un plan de traitement.
Actuellement, aucun logiciel de transcription médicale par IA n'a fait l'objet d'une procédure d'agrément, bien que certains prétendent offrir des suggestions cliniques.
L'Agence australienne des produits thérapeutiques (TGA) a reconnu que cela signifiait que certains assistants médicaux pouvaient potentiellement enfreindre la loi (https://consultations.tga.gov.au/tga/clarifying-and-strengthening-the-regulation-of-ai/supporting_documents/tga-report-clarifying-and-strengthening-the-regulation-of-medical-device-software-including-artificial-intelligence-aipdf).
La TGA a consacré l'année écoulée à l'examen des assistants médicaux IA et annonce que ses conclusions seront publiées dans les prochaines semaines. Des mesures seront prises en cas d'infraction.
Lisa Robins, directrice générale de Patients Australia, estime que tous les assistants médicaux devraient être réglementés, car la synthèse des dossiers des patients implique toujours une prise de décision par l'IA.
Le Dr Stevens craint qu'un élargissement de la réglementation ne freine l'innovation.
Le DRW demande au nouvel Institut de sécurité de l'IA de tester les assistants médicaux IA et de publier une liste d'outils approuvés.
Cette approche serait similaire à celle de la Nouvelle-Zélande, où le groupe consultatif national sur l'IA a examiné les outils et a autorisé l'an dernier les cliniciens à utiliser deux outils d'IA : Heidi Health et iMed.
Mme Deveny a indiqué que l'utilisation sécurisée de l'IA par les médecins pourrait également être assurée par d'autres moyens, tels que des contrôles obligatoires intégrés au logiciel ou lors de l'accréditation des cabinets médicaux, renouvelée tous les trois ans.
Mme Green a déclaré que sa confiance dans l'IA avait été fortement ébranlée par les événements et qu'elle ne donnerait désormais son consentement à l'utilisation de l'IA que si elle entretenait une relation établie avec le médecin.
« J'adore l'IA… mais l'élément essentiel, c'est l'humain. Au final, ce qui s'est passé ici est surtout dû à un manque d'implication humaine », a-t-elle affirmé.
Incident 1696: À Vero Beach, en Floride, un homme aurait utilisé des outils de nudification par intelligence artificielle pour créer et diffuser des images sexuelles non consensuelles de son ancienne voisine.
“Un homme de Vero Beach arrêté dans le cadre d'une enquête pour diffusion de deepfakes à caractère sexuel ; la police craint d'autres victimes.”
VERO BEACH, Floride (CBS12) — Un homme de Vero Beach a été arrêté et placé en détention sous une caution d'un million de dollars pour avoir créé et diffusé des images à caractère sexuel explicite de femmes, générées par intelligence artificielle, sans leur consentement.
Selon la police de Vero Beach, Peter Solomon Ruma, 37 ans, a utilisé des photos provenant des réseaux sociaux et d'autres sources en ligne pour créer certaines de ces images modifiées.
Mercredi, les enquêteurs ont perquisitionné le domicile et les appareils électroniques de Ruma, et y ont découvert des preuves le reliant à la création et à la diffusion des images générées par intelligence artificielle.
À l'issue de l'enquête, un mandat d'arrêt a été délivré. Ruma est actuellement inculpé de huit chefs d'accusation pour des faits survenus entre juin et août 2026 et concernant une victime, notamment :
- 3 chefs d'accusation de création d'images à caractère sexuel modifiées
- 3 chefs d'accusation de diffusion de ces images
- 1 chef d'accusation de cyberharcèlement sexuel
- 1 chef d'accusation de harcèlement criminel
La police a identifié plusieurs autres victimes potentielles qui n'ont pas encore été identifiées ou qui ignorent peut-être que des images les concernant ont été créées ou diffusées. Les enquêteurs pensent également que Ruma pourrait avoir agi de la sorte pendant des années.
Les archives judiciaires révèlent que Ruma a des antécédents judiciaires dans le comté d'Indian River. En 2007, il a été arrêté pour cambriolage et agression sexuelle sur une personne handicapée. En 2009, il a de nouveau été arrêté pour cambriolage et condamné par la suite à une peine d'emprisonnement par le Département correctionnel de Floride.
Cette affaire survient dans un contexte d'inquiétudes croissantes à l'échelle nationale concernant les deepfakes générés par l'IA, qui peuvent être utilisés pour créer des images à caractère sexuel réalistes, mais falsifiées, de personnes réelles.
Les autorités fédérales ont récemment lancé le site TakeItDown.FTC.gov, une plateforme permettant aux victimes de signaler les images intimes non consenties et d'en demander le retrait des plateformes en ligne.
Les enquêteurs exhortent publiquement toute personne qui pense avoir été victime de tels agissements, ou qui a reçu, visionné ou possède des informations concernant les images modifiées ou explicites, à contacter le service de police de Vero Beach.
L'enquête est toujours en cours et des accusations supplémentaires pourraient être portées.
Incident 1690: À Kechi, dans le Kansas, le lieutenant de police Victor Heiar a utilisé le système de lecture de plaques d'immatriculation Flock Safety pour surveiller son épouse séparée.
“Un lieutenant de police de Kechi arrêté pour avoir utilisé la technologie policière afin de harceler son épouse”
WICHITA, Kansas (KWCH) – Le lieutenant de police de Kechi, Victor Heiar, a été arrêté par la police de Wichita après la découverte qu'il avait abusé de sa position pour accéder illégalement au système de lecture automatique des plaques d'immatriculation du WPD afin de surveiller les déplacements de son épouse, dont il était séparé.
Heiar a depuis été suspendu de ses fonctions. Il a été incarcéré à la prison du comté de Sedgwick pour harcèlement et utilisation illégale d'un ordinateur.
« Il est évident que lorsqu'on est policier et qu'on a accès à des informations confidentielles auxquelles le commun des mortels n'a pas accès, on n'est pas censé les utiliser à des fins personnelles », a déclaré Charles O'Hara, avocat de la défense au sein du cabinet O'Hara and O'Hara. « Lorsque cela se répète et devient abusif, cela constitue du harcèlement. »
O'Hara précise que, bien souvent, le harcèlement relève de la voie civile et non de la voie pénale.
« Je ne comprends pas comment ils peuvent l'accuser de harcèlement », a déclaré O'Hara. « Je ne connais pas les détails de cette affaire, nous ne faisons que des suppositions, mais je suppose qu'il faisait l'objet d'une ordonnance restrictive et qu'il l'a violée, ou qu'il a harcelé la femme au point de la terroriser. »
La semaine dernière, il a été annoncé que les forces de l'ordre de Wichita et du comté de Sedgwick recevraient 1,6 million de dollars de fonds fédéraux pour l'acquisition de lecteurs de plaques d'immatriculation et la modernisation de leur système de caméras.
Il craint pour la sécurité publique si les forces de l'ordre n'utilisent pas correctement leurs ressources.
« Il est inquiétant, je trouve, qu'un haut gradé des forces de l'ordre puisse faire un mauvais usage des outils à sa disposition », a déclaré O'Hara.
L'enquêteur privé Joseph Schillaci affirme que, bien que cette situation doive être prise en charge, il ne pense pas qu'elle soit fréquente dans les services de police. Selon lui, la sécurité publique n'est pas menacée.
« Chaque fois qu'un problème de ce genre survient, il est absolument impératif d'y remédier », a déclaré Schillaci. « En ce qui concerne les préoccupations et la sécurité publiques, ces circonstances sont isolées. »
Incident 1691: Le logiciel ChatGPT aurait été utilisé pour planifier l'attaque au couteau contre Zürich-Oerlikon qui a grièvement blessé trois garçons de cinq ans.
“Attaque au couteau contre des enfants : l’auteur aurait « acheté du bœuf pour s’entraîner ».”
Agression au couteau sur des enfants : L'auteur présumé « s'entraînait avec du bœuf »
Un étudiant chinois qui a poignardé trois garçons à Zurich-Oerlikon à l'automne 2024 est jugé pour tentative de meurtre ce jeudi. L'acte d'accusation révèle de nouveaux détails sur les faits.
De quoi s'agit-il ?
-
Un étudiant chinois est jugé à Zurich pour tentative de meurtre : le 1er octobre 2024, il a poignardé trois garçons de cinq ans à Oerlikon.
-
L'acte d'accusation montre que l'homme a méticuleusement planifié son agression : il a utilisé ChatGPT et s'est entraîné avec du bœuf.
-
Le parquet requiert une peine de 15 ans de prison et une mesure d'expulsion d'une durée équivalente.
Cet acte a suscité l'indignation dans toute la Suisse : le 1er octobre 2024, jour de la fête nationale chinoise, un étudiant chinois de 23 ans a attaqué des enfants à l'arme blanche dans une garderie de Zurich-Oerlikon. Trois garçons de cinq ans ont été grièvement blessés par la lame d'environ 8,5 centimètres de long.
L'un des enfants a eu la veine jugulaire sectionnée au niveau de la clavicule et a également subi des blessures au cou et à l'épaule gauche. Une intervention chirurgicale d'urgence a été nécessaire pour éviter un décès par hémorragie ou embolie gazeuse. L'agresseur a poignardé un deuxième garçon à deux reprises à la poitrine. Les coups de couteau ont perforé le péricarde et lésé l'auricule droite, l'artère thoracique droite et la veine thoracique droite.
Une employée de la garderie a maîtrisé l'agresseur
La blessure au cœur a entraîné une hémorragie du péricarde et une perte de sang potentiellement mortelle. Le garçon a survécu de justesse ; sa mort n'a été évitée que grâce à une intervention médicale immédiate. Le troisième garçon a subi de multiples blessures à l'oreille et au poumon.
D'autres attaques ont été empêchées uniquement grâce à l'intervention énergique de l'employée de la garderie : selon l'acte d'accusation, elle s'est précipitée vers l'agresseur et l'a saisi par les bras, le contraignant à renoncer à son projet. Comprenant qu'il ne pouvait se dégager, l'homme a jeté le couteau et s'est rendu. D'autres passants, dont Mirco Brühwiler (38 ans), sont arrivés et ont retenu l'homme chinois jusqu'à l'arrivée de la police. 20 Minuten s'est entretenu avec l'un d'eux après l'incident.
« D'un sang-froid extraordinaire »
L'homme comparaîtra devant le tribunal jeudi. Le procureur l'a inculpé de tentative de meurtre : ce ressortissant chinois a méticuleusement planifié l'attaque et l'a préparée avec l'aide de ChatGPT. Arrivé en Suisse un an auparavant pour poursuivre un master à l'Université de Zurich, le jeune homme était malheureux et se sentait méprisé, selon l'accusation.
Le parquet qualifie la préparation et l'exécution de l'attaque par le ressortissant chinois d'« extraordinaires actes de sang-froid ». Début août 2024, il a décidé de tuer. Il a consulté l'intelligence artificielle ChatGPT au sujet des « conséquences juridiques des différentes manières de tuer des victimes choisies au hasard à l'arme blanche » et a choisi de poignarder des enfants.
Quinze ans de prison requis
L'acte d'accusation poursuit : dans les semaines qui ont suivi, il a commandé des vêtements pour l'attaque et un ensemble de quatre couteaux de cuisine de tailles différentes. Le 18 septembre, il a effectué des recherches sur les lieux et les moments où il pourrait trouver des enfants à Zurich. Dix jours plus tard, il a étudié des illustrations anatomiques de la tête, du cou et du torse humains, ainsi que des vaisseaux sanguins. Le 30 septembre, l'étudiant a acheté du bœuf cru pour s'entraîner à poignarder et à couper.
Le lendemain, vers midi, il a perpétré l'attaque. La date n'était pas un hasard : le 1er octobre est la fête nationale chinoise. Quelques minutes avant l'attaque, il a publié sur Instagram, depuis son appartement situé à proximité immédiate de la crèche, divers contenus patriotiques chinois, ainsi qu'un message désobligeant à l'égard d'une ancienne connaissance en Chine.
Le parquet indique dans l'acte d'accusation que l'homme a agi par « pure vengeance, soif de reconnaissance et aveuglement idéologique ». Il requiert une peine de 15 ans de prison et une interdiction d'entrée sur le territoire pour une durée de 15 ans.
Le parquet indique dans l'acte d'accusation que l'homme a agi par « pure vengeance, désir de reconnaissance et illusion idéologique ».
A propos de la base de données
La base de données des incidents d'IA est dédiée à l'indexation de l'historique collectif des dommages ou les quasi-dommages réalisés dans le monde réel par le déploiement de systèmes d'intelligence artificielle. Comme des bases de données similaires dans l'aviation et la sécurité informatique, La base de données des incidents d'IA vise à apprendre de l'expérience afin que nous puissions prévenir ou atténuer les mauvais résultats.
Vous êtes invité à soumettre des rapports d'incident, après quoi les soumissions seront indexées et rendues visibles au monde entier. L'intelligence artificielle ne sera bénéfique pour les personnes et la société que si nous enregistrons et apprenons collectivement de ses échecs. (Plus d'informations)

Enquête sur les incidents d'IA pour construire un avenir plus sûr : l'Instituto de Investigación de Seguridad Digital s'associe à Responsible AI Collaborative
By TheCollab Board of Directors
2024-02-20
L'Institut d'inestigation de Securité Digital (DSRI) des Instituts d'Investigation de UL est assoicé evec Responsible AI Collaborative (TheC...
La base de données dans la presse
En savoir plus sur la base de données sur Time Magazine, Vice News, Venture Beat, Wired et Bulletin of the Atomic Scientists entre autres points de vente.
La collaboration IA responsable
La base de données d'incidents d'IA est un projet du Responsible AI Collaborative, une organisation autorisée à promouvoir la base de données d'incidents d'IA. La gouvernance de la Collaborative est structurée autour de la participation de sa programmation d'impact. Pour plus de détails, nous vous invitons à lire le rapport de la fondation et à en savoir plus sur notre and learn more on our.

View the Responsible AI Collaborative's Form 990 and tax-exempt application. We kindly request your financial support with a donation.
Commanditaire fondateur de l'organisation
Commanditaire fondateur de la base de données

Commanditaires et subventions
Commanditaires en nature
Le briefing sur les incidents d'IA

Create an account to subscribe to new incident notifications and other updates.


