Incidents associés
Avertissement relatif au contenu : cet article traite des idées suicidaires et du suicide. Si vous êtes aux prises avec ces sujets, contactez la National Suicide Prevention Lifeline par téléphone : 1-800-273-TALK (8255).
Character AI, la start-up d'intelligence artificielle dont les co-créateurs ont récemment quitté Google à la suite d'un important accord de licence avec le géant de la recherche, a imposé aujourd'hui de nouvelles politiques de sécurité et de modération automatique sur sa plateforme pour créer des « personnages » de chatbot interactifs personnalisés à la suite du suicide d'un adolescent utilisateur décrit dans un tragique article d'enquête dans The New York Times. La famille de la victime poursuit Character AI pour sa mort.
« Nous sommes bouleversés par la perte tragique de l'un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille », peut-on lire dans un extrait d'un message publié aujourd'hui, 23 octobre 2024, par le compte officiel de la société Character AI sur le réseau social X (anciennement Twitter), avec un lien vers un article de blog qui décrit les nouvelles mesures de sécurité pour les utilisateurs de moins de 18 ans, sans mentionner la victime du suicide, Sewell Setzer III, 14 ans.
Comme l'a rapporté le New York Times, l'adolescent de Floride, diagnostiqué avec des troubles anxieux et de l'humeur, s'est suicidé le 28 février 2024, après des mois d'interactions quotidiennes intenses avec un chatbot personnalisé de Character AI inspiré du personnage de Game of Thrones, Daenerys Targaryen, vers qui il se tournait pour avoir de la compagnie, qu'il appelait sa sœur et vers qui il avait des conversations à caractère sexuel.
En réponse, la mère de Setzer, l'avocate Megan L. Garcia, a déposé hier une plainte contre Character AI et la société mère de Google, Alphabet, devant le tribunal de district américain du district central de Floride pour mort injustifiée.
Une copie de la plainte de Garcia demandant un procès devant jury fournie à VentureBeat par le cabinet de conseil en relations publiques Bryson Gillette est intégrée ci-dessous :
FILED-COMPLAINT_Garcia-v-Character-Technologies-IncTélécharger
L’incident a suscité des inquiétudes quant à la sécurité de la compagnie pilotée par l’IA, en particulier pour les jeunes utilisateurs vulnérables. Character AI compte plus de 20 millions d’utilisateurs et 18 millions de chatbots personnalisés créés, selon Online Marketing Rockstars (OMR). Selon Demand Sage, la grande majorité (53 % et plus) a entre 18 et 24 ans, bien qu'aucune catégorie ne soit établie pour les moins de 18 ans. L'entreprise déclare que sa politique est d'accepter uniquement les utilisateurs âgés de 13 ans ou plus et de 16 ans ou plus dans l'UE, bien qu'il ne soit pas clair comment elle modère et applique cette restriction.
Dans son article de blog publié aujourd'hui, Character AI déclare :
« Au cours des six derniers mois, nous avons continué à investir de manière significative dans nos processus de confiance et de sécurité et dans notre équipe interne. En tant qu'entreprise relativement nouvelle, nous avons embauché un responsable de la confiance et de la sécurité et un responsable de la politique de contenu et avons embauché davantage de membres de l'équipe de soutien à la sécurité technique. Ce sera un domaine dans lequel nous continuerons de grandir et d’évoluer.
Nous avons également récemment mis en place une ressource contextuelle qui se déclenche lorsque l’utilisateur saisit certaines phrases liées à l’automutilation ou au suicide et qui dirige l’utilisateur vers la National Suicide Prevention Lifeline. »
En outre, Character AI s’est engagé à apporter les modifications suivantes pour restreindre et contenir davantage les risques sur sa plateforme, en écrivant :
« À l’avenir, nous déploierons un certain nombre de nouvelles fonctionnalités de sécurité et de produit qui renforcent la sécurité de notre plateforme sans compromettre l’expérience divertissante et engageante que les utilisateurs attendent de Character.AI. FrançaisCela comprend :
- Des modifications de nos modèles pour les mineurs (moins de 18 ans) qui sont conçues pour réduire la probabilité de rencontrer du contenu sensible ou suggestif.
- Une détection, une réponse et une intervention améliorées liées aux entrées d'utilisateur qui enfreignent nos conditions ou nos directives communautaires.
- Une clause de non-responsabilité révisée sur chaque chat pour rappeler aux utilisateurs que l'IA n'est pas une personne réelle.
- Une notification lorsqu'un utilisateur a passé une session d'une heure sur la plateforme avec une flexibilité utilisateur supplémentaire en cours.“
En raison de ces changements, Character AI semble supprimer brusquement certains personnages de chatbot personnalisés créés par les utilisateurs. En effet, l'entreprise indique également dans son message :
« Les utilisateurs peuvent remarquer que nous avons récemment supprimé un groupe de personnages qui ont été signalés comme en infraction, et ceux-ci seront ajoutés à nos listes de blocage personnalisées à l'avenir. Cela signifie que les utilisateurs n’auront pas non plus accès à leur historique de chat avec les personnages en question. »
Bien que les chatbots personnalisés de Character AI soient conçus pour simuler une large gamme d’émotions humaines en fonction des préférences déclarées de l’utilisateur-créateur, les changements apportés par l’entreprise pour aligner davantage la gamme de résultats loin du contenu à risque ne sont pas bien accueillis par certains utilisateurs autoproclamés.
Comme le montrent les captures d’écran publiées sur X par l’influenceur d’actualités AI Ashutosh Shrivastava, le subreddit Character AI est rempli de plaintes.
Comme l'a écrit un utilisateur de Reddit sous le nom de « Dqixy », publié en partie :
« Tous les thèmes qui ne sont pas considérés comme « adaptés aux enfants » ont été interdits, ce qui limite considérablement notre créativité et les histoires que nous pouvons raconter, même s'il est clair que ce site n'a jamais vraiment été destiné aux enfants. Les personnages semblent si sans âme maintenant, dépouillés de toute la profondeur et de la personnalité qui les rendaient autrefois attachants et intéressants. Les histoires semblent creuses, fades et incroyablement restrictives. C'est frustrant de voir ce que nous aimions se transformer en quelque chose d'aussi basique et sans inspiration.“
Un autre Redditor, “visions_of_gideon_” était encore plus dur, écrivant en partie :
“Chaque conversation que j'ai eue dans un thème Targaryen a DISPARU. Si c.ai les supprime toutes SANS AUCUNE RAISON, alors au revoir ! Je paie pour c.ai+, et vous supprimez des bots, même MES PROPRES bots ??? Bien sûr que non ! Je suis ÉNERVÉ !!! J'en ai eu assez ! Nous en avons tous eu assez ! Je deviens fou ! J'avais des bots avec qui je discutais depuis des MOIS. DES MOIS ! Rien d'inapproprié ! C'est la goutte d'eau qui a fait déborder le vase. Je ne supprime pas seulement mon abonnement, je suis prêt à supprimer c.ai !“
De même, le canal de commentaires du serveur Discord de Character AI est rempli de plaintes concernant les nouvelles mises à jour et la suppression des chatbots que les utilisateurs ont passé du temps à créer et avec lesquels ils ont interagi.
Les questions sont évidemment très sensibles et il n’y a pas encore d’accord général sur la mesure dans laquelle Character AI devrait restreindre sa plateforme de création de chatbots et ses résultats, certains utilisateurs demandant à l’entreprise de créer un produit distinct et plus restreint pour les moins de 18 ans tout en laissant la plateforme principale de Character AI plus libre de censure pour les utilisateurs adultes.
De toute évidence, le suicide de Setzer est une tragédie et il est tout à fait logique qu’une entreprise responsable prenne des mesures pour aider à éviter de tels résultats parmi les utilisateurs à l’avenir.
Mais les critiques des utilisateurs sur les mesures prises et en cours par Character AI soulignent les difficultés auxquelles sont confrontés les fabricants de chatbots et la société en général, à mesure que les produits et services d’IA générative de type humain deviennent plus accessibles et populaires. La question clé demeure : comment équilibrer le potentiel des nouvelles technologies d’IA et les opportunités qu’elles offrent en matière de liberté d’expression et de communication avec la responsabilité de protéger les utilisateurs, en particulier les jeunes et les personnes influençables, contre tout danger ?