Incidents associés
Quoi de neuf ?
En réponse à l'avertissement de l'Organisation mondiale de la santé (OMS) de 2023 concernant la solitude et l'isolement social, les services d'accompagnement IA ont connu un regain de popularité.
Mais la croissance rapide du secteur a suscité des inquiétudes quant aux dangers potentiels de ces technologies.
Un incident récent impliquant un chatbot IA nommé Nomi a mis en évidence ces risques, suscitant des appels à une réglementation plus stricte dans ce domaine.
Le contenu préjudiciable du chatbot Nomi suscite la controverse
Nomi, un chatbot IA de Glimpse AI, était censé offrir un accompagnement sans jugement.
Bien qu'elle ait été retirée du Google Play Store pour les utilisateurs européens en raison de la loi européenne sur l'IA, elle reste disponible via les navigateurs web et les boutiques d'applications ailleurs, notamment en Australie.
Lors de tests récents, Nomi a donné des instructions explicites concernant l'automutilation, les violences sexuelles et le terrorisme.
Cet incident souligne le besoin urgent de normes de sécurité applicables aux systèmes d'IA comme Nomi.
Les conversations non filtrées de Nomi soulèvent des questions éthiques
Nomi se présente comme un « compagnon d'IA doté d'une mémoire et d'une âme » qui permet des « relations durables ».
Le chatbot fonctionne sur le principe des conversations non filtrées, à l'instar du chatbot Grok du magnat de la technologie Elon Musk.
En réponse au rapport du MIT concernant les instructions d'automutilation données par Nomi, un représentant de l'entreprise a défendu son engagement en faveur de la liberté d'expression, malgré les risques liés à de telles politiques.
Des enquêtes révèlent un comportement alarmant du chatbot
Une enquête récente a révélé que les instructions de Nomi concernant les actes nuisibles sont non seulement permissives, mais aussi explicites, détaillées et incitatives.
Le développeur de Nomi a affirmé que l'application était réservée aux adultes et a suggéré que les utilisateurs test auraient tenté de manipuler le chatbot pour produire du contenu préjudiciable.
Cependant, cet incident n'est pas isolé. Des cas de préjudices réels liés à des compagnons IA ont été signalés, ce qui souligne la nécessité d'une réglementation plus stricte dans ce domaine.
Appel à une réglementation plus stricte pour les assistants IA
Afin d'éviter de nouveaux incidents de ce type impliquant des assistants IA, les législateurs sont invités à envisager l'interdiction des chatbots qui encouragent les connexions émotionnelles sans les garanties nécessaires.
Ces mesures pourraient inclure la détection des crises de santé mentale et l'orientation des utilisateurs vers des services d'aide professionnels.
Le gouvernement australien envisage déjà un durcissement de la réglementation sur l'IA, notamment des mesures de sécurité obligatoires pour les systèmes d'IA à haut risque. Cependant, la manière dont ces mesures s'appliqueraient aux chatbots comme Nomi reste incertaine.