Incidents associés
Le logo Charcter.AI sur un smartphone.
© 2023 Bloomberg Finance LP
Character.AI, une plateforme de chatbots IA soutenue par Google, fait l'objet d'un examen minutieux après que des rapports ont révélé le mois dernier que certains utilisateurs avaient créé des chatbots imitant des tireurs d'école réels et leurs victimes. Ces chatbots, accessibles aux utilisateurs de tous âges, permettaient de réaliser des scénarios de jeu de rôle graphiques, suscitant l'indignation et soulevant des inquiétudes quant aux responsabilités éthiques des plateformes d'IA dans la modération des contenus préjudiciables. Bien que l'entreprise ait depuis supprimé ces chatbots et pris des mesures pour résoudre le problème, l'incident souligne les défis plus larges de la réglementation de l'IA générative, rapporte Futurism.
En réponse à ma demande de commentaire, Character.AI a fourni la déclaration suivante concernant la controverse :
« Les utilisateurs qui ont créé les personnages référencés dans l'article de Futurism ont violé nos conditions d'utilisation, et les personnages ont été supprimés de la plateforme. Notre équipe Trust & Safety modère les centaines de milliers de personnages que les utilisateurs créent chaque jour sur la plateforme, de manière proactive et en réponse aux signalements des utilisateurs, notamment en utilisant des listes de blocage standard du secteur et des listes de blocage personnalisées que nous élargissons régulièrement. Nous travaillons à continuer d'améliorer et d'affiner nos pratiques de sécurité et à mettre en œuvre des outils de modération supplémentaires pour aider à donner la priorité à la sécurité de la communauté. »
La société a également annoncé de nouvelles mesures visant à améliorer la sécurité des utilisateurs de moins de 18 ans. Il s'agit notamment de filtrer les personnages accessibles aux mineurs et de restreindre l'accès aux sujets sensibles tels que la criminalité et la violence. Character.AI a déclaré : « Notre objectif est de fournir un espace à la fois engageant et sûr pour notre communauté. »
Ce n’est pas la première fois que Character.AI est confronté à des critiques. La plateforme a été impliquée dans des poursuites judiciaires ces derniers mois après des allégations selon lesquelles ses chatbots ont manipulé émotionnellement mineurs, ce qui a conduit à des incidents automutilation et même suicide.
Enfants et chatbots : la supervision est essentielle
Malgré les mesures de contrôle de l’âge et le filtrage amélioré de Character.AI, la réalité est qu’aucun système de sécurité n’est infaillible sans la surveillance des parents ou des tuteurs. Les enfants ont une longue histoire de recherche de moyens de contourner les restrictions numériques, que ce soit en créant de faux comptes, en utilisant les appareils de leurs frères et sœurs plus âgés ou simplement en mentant sur leur âge lors des processus d’inscription.
Il s’agit d’un défi qui va au-delà de Character.AI. Les plateformes de médias sociaux, les jeux vidéo et autres espaces numériques avec des restrictions d’âge sont confrontés au même problème. Même les systèmes de modération d’IA les plus avancés ne peuvent pas tenir compte de l’ingéniosité d’utilisateurs déterminés.
La seule mesure de protection vraiment efficace reste l’implication active des parents et des tuteurs. La supervision, la communication ouverte et l’engagement continu dans les activités numériques d’un enfant sont essentiels. Par exemple, les parents peuvent surveiller l’utilisation des applications, fixer des limites pour le temps passé devant un écran et lancer des discussions sur les risques liés à l’utilisation de contenus inappropriés. Sans ces mesures proactives, les enfants peuvent toujours trouver des moyens d’accéder à des contenus qui pourraient les désensibiliser à la violence ou les exposer à des idées nuisibles.
Un contexte plus large : les enfants, les écrans et l’IA
Cette controverse s’inscrit dans un récit plus large sur l’exposition des enfants à des contenus numériques potentiellement dangereux. Alors que les jeux vidéo, les réseaux sociaux et d’autres activités sur écran sont depuis longtemps scrutés pour leurs impacts psychologiques potentiels, l’IA ajoute une nouvelle dimension à la discussion. Contrairement aux formes passives de médias, les chatbots IA permettent des interactions bidirectionnelles, permettant aux utilisateurs d’interagir activement avec le contenu.
Des experts, dont le psychologue Peter Langman, spécialiste des fusillades dans les écoles, ont exprimé leur inquiétude quant à l’impact que pourraient avoir ces technologies interactives sur les jeunes et les utilisateurs vulnérables. Bien que Peter Langman reconnaisse que l’exposition à des contenus violents à elle seule n’est pas susceptible de provoquer un comportement violent, il prévient que pour ceux qui sont déjà enclins à la violence – « quelqu’un qui pourrait être sur le chemin de la violence » – ces interactions pourraient normaliser, voire encourager, des idéologies dangereuses. « Tout type d’encouragement ou même d’absence d’intervention – une indifférence en réponse de la part d’une personne ou d’un chatbot – peut sembler être une sorte de permission tacite d’aller de l’avant et de le faire », a déclaré Langman.
Les chatbots des tueurs à l’école sont intrinsèquement inexacts
La complexité des interactions numériques nuisibles me rappelle mon travail d’expert en criminalistique numérique sur les cas de Dylann Roof et James Holmes, auteurs de deux des fusillades de masse les plus infâmes de l’histoire des États-Unis. Roof a été reconnu coupable de meurtre lors de la fusillade de l’église de Charleston en 2015, une attaque à motivation raciale qui a coûté la vie à neuf paroissiens afro-américains. Holmes a orchestré la fusillade au cinéma Aurora en 2012 lors d’une projection de minuit de The Dark Knight Rises, tuant 12 personnes et en blessant 70 autres.
Mon travail sur ces cas impliquait bien plus que l’examen de données superficielles ; il nécessitait l’analyse de l’historique Internet, des conversations privées, des données supprimées récupérées, de l’historique de localisation et des interactions sociales plus larges. Ces données ont été fournies à des avocats qui les ont ensuite transmises à des experts en santé mentale pour une analyse approfondie. Lorsque vous examinez de manière médico-légale le téléphone ou l’ordinateur d’une personne, vous avez en quelque sorte un aperçu de sa vie et de son esprit.
C’est là que l’IA échoue. Si les algorithmes avancés peuvent analyser de vastes quantités de données, ils n’ont pas la profondeur d’une enquête humaine. L’IA ne peut pas contextualiser les comportements, interpréter les motivations ou fournir la compréhension nuancée qui résulte de l’intégration de multiples formes de preuves. Les chatbots de Character.AI, qui se contentent d’imiter des modèles de langage, ne peuvent ni reproduire ni révéler l’état d’esprit d’individus comme Roof ou Holmes.
Les chatbots créés par les utilisateurs pour les fusillades scolaires sont intrinsèquement inexacts car ils s’appuient sur des données insuffisantes, mais leur nature immersive peut néanmoins exercer une influence considérable. Contrairement au contenu statique, comme la lecture d’un livre ou le visionnage d’un documentaire sur une fusillade de masse, les chatbots permettent aux utilisateurs de façonner leurs interactions, ce qui peut intensifier les comportements nuisibles. De plus, comme la compagnie de l’IA reste un phénomène relativement nouveau, ses effets à long terme sont difficiles à prévoir, ce qui souligne la nécessité de faire preuve de prudence lors de l’exploration de ces expériences numériques personnalisées et potentiellement dangereuses.
Cela soulève des questions cruciales : comment concilier progrès technologique et sécurité ? Quelles garanties sont suffisantes pour protéger les utilisateurs jeunes et vulnérables ? Et où se situe la responsabilité lorsque ces systèmes échouent ?
Les mesures proactives de Character.AI sont un début, mais l’incident met en évidence le défi plus large de la modération du contenu IA généré par les utilisateurs. Le recours de la plateforme à la fois à la modération proactive et aux signalements des utilisateurs illustre la difficulté de suivre le rythme du volume considérable de contenu généré quotidiennement.
Enfants et chatbots : pourquoi c’est important maintenant
La controverse autour de Character.AI survient à un moment où l’IA s’intègre rapidement dans la vie quotidienne, en particulier pour les jeunes générations. Cela soulève des questions urgentes sur les cadres réglementaires – ou l’absence de ceux-ci – qui régissent les technologies d’IA. Sans normes plus claires et une surveillance plus stricte, des incidents comme ceux-ci deviendront probablement plus fréquents.
Les parents et les tuteurs devraient également en prendre note. La surveillance des activités en ligne des enfants, en particulier sur les plateformes où la création de contenu est largement pilotée par les utilisateurs, est plus cruciale que jamais. Des discussions ouvertes sur les risques potentiels des outils d’IA interactifs et la définition de limites pour le temps passé devant un écran sont des étapes essentielles pour protéger les jeunes utilisateurs.
Concernant sa relation avec Character.AI, Google a déclaré à Futurism que « Google et Character AI sont des sociétés entièrement indépendantes. Google n’a jamais participé à la conception ou à la gestion de leurs modèles ou technologies d’IA, et nous ne les avons pas non plus intégrés à nos produits. »