Problème 4232

Une plainte a été déposée contre Character.AI, ses fondateurs Noam Shazeer et Daniel De Freitas, et Google à la suite du décès d'un adolescent, alléguant un décès injustifié, une négligence, des pratiques commerciales trompeuses et une responsabilité du fait des produits. Déposée par la mère de l'adolescente, Megan Garcia, la plainte affirme que la plateforme de chatbots IA personnalisés était « déraisonnablement dangereuse » et manquait de garde-fous de sécurité lors de sa commercialisation auprès des enfants.

Comme indiqué dans la plainte, Sewell Setzer III, 14 ans, a commencé à utiliser Character.AI l'année dernière, interagissant avec des chatbots inspirés de personnages de The Game of Thrones, dont Daenerys Targaryen. Setzer, qui a discuté en continu avec les robots dans les mois précédant sa mort, s'est suicidé le 28 février 2024, « quelques secondes » après sa dernière interaction avec le robot.

Le site est accusé d'avoir « anthropomorphisé » des personnages IA et les chatbots de la plateforme proposent « une psychothérapie sans licence ». Character.AI héberge des chatbots axés sur la santé mentale comme « Therapist » et « Are You Feeling Lonely », avec lesquels Setzer a interagi.

Les avocats de Garcia citent Shazeer qui a déclaré dans une interview que lui et De Freitas ont quitté Google pour créer sa propre entreprise parce que « les grandes entreprises présentent trop de risques pour lancer quoi que ce soit d'amusant » et qu'il voulait « accélérer au maximum » la technologie. Ils sont partis après que l'entreprise a décidé de ne pas lancer le LLM de Meena qu'ils avaient créé. Google a acquis l’équipe de direction de Character.AI en août.

Le site Web et l’application mobile de Character.AI contiennent des centaines de chatbots IA personnalisés, dont beaucoup sont inspirés de personnages populaires d’émissions de télévision, de films et de jeux vidéo. Il y a quelques mois, The Verge a écrit sur les millions de jeunes, y compris les adolescents qui constituent la majeure partie de sa base d’utilisateurs, qui interagissent avec des robots qui pourraient se faire passer pour Harry Styles ou un thérapeute. Un autre rapport récent de Wired a mis en évidence des problèmes avec les chatbots personnalisés de Character.AI qui se font passer pour de vraies personnes sans leur consentement, dont l’un se fait passer pour un adolescent assassiné en 2006.

En raison de la manière dont les chatbots comme Character.ai génèrent des résultats qui dépendent des saisies de l’utilisateur, ils tombent dans une étrange vallée de questions épineuses sur le contenu généré par l’utilisateur et la responsabilité qui, jusqu’à présent, manque de réponses claires.

Character.AI a maintenant annoncé plusieurs changements sur la plateforme, la responsable de la communication Chelsea Harrison déclarant dans un e-mail à The Verge : « Nous sommes navrés par la perte tragique de l'un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille. »

Certains des changements incluent :

• Des modifications de nos modèles pour les mineurs (moins de 18 ans) qui sont conçues pour réduire la probabilité de rencontrer du contenu sensible ou suggestif.

• Une détection, une réponse et une intervention améliorées liées aux entrées d'utilisateurs qui enfreignent nos conditions ou nos directives communautaires.

• Une clause de non-responsabilité révisée sur chaque chat pour rappeler aux utilisateurs que l'IA n'est pas une personne réelle.

• Une notification lorsqu'un utilisateur a passé une session d'une heure sur la plateforme avec une flexibilité utilisateur supplémentaire en cours.

« En tant qu’entreprise, nous prenons très au sérieux la sécurité de nos utilisateurs, et notre équipe Trust and Safety a mis en œuvre de nombreuses nouvelles mesures de sécurité au cours des six derniers mois, notamment une fenêtre contextuelle dirigeant les utilisateurs vers la National Suicide Prevention Lifeline, déclenchée par des propos d’automutilation ou d’idées suicidaires », a déclaré Harrison. Google n’a pas immédiatement répondu à la demande de commentaires de The Verge.