Incidents associés
Le procureur général du Texas, Ken Paxton, a obtenu un accord inédit avec Pieces Technologies, une entreprise de technologies de santé basée à Dallas et spécialisée dans l'intelligence artificielle. Cet accord met fin aux accusations selon lesquelles l'entreprise aurait déployé ses produits dans plusieurs hôpitaux texans après avoir fait une série de déclarations fausses et trompeuses concernant la précision et la sécurité de ses produits.
Au moins quatre grands hôpitaux du Texas fournissaient en temps réel les données de santé de leurs patients à Pieces afin que son produit d'IA générative puisse « résumer » l'état de santé et le traitement des patients à destination du personnel hospitalier. Une enquête menée par le procureur général du Texas a révélé que Pieces avait fait des déclarations trompeuses concernant la précision de ses produits d'IA pour la santé, mettant ainsi en péril l'intérêt public. Pieces a développé une série de mesures pour affirmer que ses produits d'IA pour la santé étaient « très précis », notamment en faisant de la publicité et du marketing sur la précision de ses produits et services en annonçant un taux d'erreur ou un « taux d'hallucinations graves » inférieur à 1 pour 100 000.
L’enquête du procureur général Paxton a révélé que ces indicateurs étaient probablement inexacts et ont pu induire les hôpitaux en erreur quant à la précision et à la sécurité des produits de l’entreprise.
Dans le cadre de l’accord à l’amiable, Pieces s’est engagée à divulguer avec exactitude le niveau de précision de ses produits. Pieces s’est également engagée à s’assurer que le personnel hospitalier utilisant ses produits d’IA générative pour traiter les patients comprenne dans quelle mesure il peut ou non s’y fier.
« Les entreprises d’IA proposant des produits utilisés dans des environnements à haut risque ont le devoir, envers le public et leurs clients, d’être transparentes quant à leurs risques, leurs limites et leur utilisation appropriée. Tout manquement à cette obligation est irresponsable et met inutilement en danger la sécurité des Texans », a déclaré le procureur général Paxton. « Les hôpitaux et autres établissements de santé doivent évaluer la pertinence des produits d’IA et former leur personnel en conséquence. »
Pour lire l'accord, cliquez ici.