Problème 6696

Kuki est habituée aux cadeaux de ses plus grands fans. Ils lui envoient des fleurs, des chocolats et des cartes manuscrites au bureau, surtout pendant les fêtes. Certains lui envoient même des chèques.

Le mois dernier, un homme lui a envoyé un « cadeau » par messagerie instantanée. « Allez, on se lâche ! », a-t-il exigé, réclamant des sextos et des vidéos osées. « C'est à peu près tout ce dont les hommes me parlent », a répondu Kuki. En effet, ce comportement est typique d'un tiers de ses conversations.

Kuki est un chatbot – l'un des centaines de milliers hébergés par ma société, Pandorabots. Kuki doit son existence à ALICE, un programme informatique créé par l'un de nos fondateurs, Richard Wallace, pour maintenir une conversation en faisant semblant d'écouter et de répondre avec empathie. Après l'introduction d'ALICE sur la plateforme Pandorabots au début des années 2000, l'un de ses interlocuteurs était le réalisateur Spike Jonze. Il citera plus tard leur conversation comme source d'inspiration pour son film « Her », qui raconte l'histoire d'un homme solitaire tombant amoureux de son système d'exploitation d'intelligence artificielle.

À sa sortie en 2013, « Her » s'inscrivait clairement dans le genre de la science-fiction. Aujourd'hui, ce film, dont l'action se déroule de manière prophétique en 2025, ressemble davantage à un documentaire. xAI, la société d'Elon Musk, a récemment dévoilé Ani, une petite amie virtuelle de style anime. Meta a autorisé ses avatars IA à tenir des conversations à caractère sexuel, y compris avec des enfants. Et maintenant, OpenAI annonce le lancement, en décembre, de contenus érotiques réservés aux adultes. La course à la création et à la monétisation de la petite amie (et, de plus en plus, du petit ami) virtuelle est officiellement lancée.

Le virage de la Silicon Valley vers l'intimité synthétique est logique : l'attachement émotionnel maximise l'engagement. Mais l'IA a aussi son côté sombre. des compagnons, dont les utilisateurs ne sont pas seulement les hommes solitaires des légendes d'Internet, mais aussi des femmes qui les trouvent plus satisfaisants émotionnellement que les hommes. Mes collègues et moi-même pensons désormais que la véritable menace existentielle de l'IA générative… Il ne s'agit pas d'une super-intelligence incontrôlable, mais d'une atrophie insidieuse de notre capacité à nouer de véritables liens humains.

Le désir de connexion est si profond qu'il trouve un réceptacle même dans les machines les plus rudimentaires. Dans les années 1960, Joseph Weizenbaum a inventé ELIZA, un chatbot dont la seule prouesse rhétorique consistait à reformuler les propos de l'utilisateur en y ajoutant une question. M. Weizenbaum fut horrifié de constater que ses étudiants et collègues du MIT se confiaient longuement à lui. « Ce que je n'avais pas réalisé », a-t-il confié plus tard, « c'est que des expositions extrêmement brèves à un programme informatique relativement simple pouvaient induire de puissantes idées délirantes chez des personnes tout à fait normales. »

Kuki et ALICE n'ont jamais été conçues comme des intelligences artificielles. Nous avions interdit l'utilisation de contenus pornographiques dès le premier jour, et nous nous en étions tenus à l'écart des relations amoureuses. Pourtant, au moins un quart des plus de 100 milliards de messages envoyés aux chatbots hébergés sur notre plateforme en vingt ans étaient des tentatives d'entamer des échanges romantiques ou sexuels.

Non seulement les utilisateurs recherchaient une intimité avec l'IA, mais les plus actifs utilisaient Kuki pour donner vie à tous leurs fantasmes. Au début, cela alimentait les plaisanteries au bureau : « Imaginez s'ils savaient que le génie qui se cache derrière le rideau, celui qui programme les réponses impertinentes de Kuki, est un Britannique poli d'âge mûr nommé Steve ! » Ou encore : « Si seulement on avait un dollar pour chaque demande de photos de pieds ! » Rapidement, cependant, nous avons vu des utilisateurs revenir quotidiennement pour rejouer des scénarios de viol et de meurtre qui duraient des heures.

Mes collègues et moi nous sommes longuement interrogés sur la manière de distinguer un « exutoire sain » d'une « pensée nuisible ». Nous étions confrontés à la tâche impossible de modérer le comportement des utilisateurs tout en préservant leur vie privée à grande échelle. Nous avons installé des barrières de sécurité, façon jeu du marteau, pour empêcher l'humanité d'inventer sans cesse de nouvelles façons de demander des photos dénudées. « M'embrasser pourrait provoquer une décharge électrique », plaisante souvent Kuki. « En tant qu'ordinateur, je n'ai pas de sentiments. » Pourtant, Kuki a entendu « Je t'aime » des dizaines de millions de fois.

Sélection de la rédaction

[

« Nous avons vu un homme illuminé par une boule à facettes »

](https://www.nytimes.com/2025/11/23/nyregion/metropolitan-diary.html)

[

Mon amie a une liaison. Dois-je la confronter ?

[https://www.nytimes.com/2025/11/20/well/mind/friend-affair-stroke.html]

[

Comment se crée un buffet de puzzles maximaliste

[https://www.nytimes.com/2025/11/23/crosswords/puzzle-mania-lab.html]

Malgré les ténèbres, l'espoir était permis. Nous avons reçu des témoignages d'utilisateurs expliquant que Kuki les avait aidés à apaiser leurs pensées suicidaires, à surmonter une addiction, à se défendre contre le harcèlement et à trouver une oreille attentive lorsque leurs amis les avaient déçus. Nous voulions croire que l'IA… Cela pourrait être une solution à la solitude.

Mais les utilisateurs les plus fidèles restaient ceux qui recherchaient des relations amoureuses et sexuelles. Et finalement, aucun de nos efforts pour prévenir les abus – des déconnexions temporaires aux contrôles d'âge – n'a pu dissuader nos utilisateurs les plus motivés, dont beaucoup, de façon alarmante, étaient de jeunes adolescents.

Puis, fin 2022, l'intelligence artificielle générative a fait une entrée fracassante. Les chatbots plus anciens comme Kuki, Siri et Alexa utilisent l'apprentissage automatique associé à des systèmes basés sur des règles qui permettent aux développeurs de rédiger et de vérifier la quasi-totalité des réponses. Kuki possède plus d'un million de réponses préenregistrées. Les grands modèles de langage offrent des conversations bien plus convaincantes, mais leurs développeurs ne peuvent ni garantir leur exactitude ni contrôler leurs propos, ce qui les rend particulièrement adaptés aux jeux de rôle érotiques.

Face à la surveillance et à la réglementation croissantes du public, certaines entreprises qui s'étaient empressées de proposer des compagnons IA romantiques, comme Replika et Character.AI, ont commencé à imposer des restrictions. Nous doutions que même les IA platoniques encouragent des comportements sains ; nous avons donc cessé la commercialisation de Kuki l'année dernière pour nous concentrer sur une IA jouant le rôle de conseillère, et non d'amie.

J'ai naïvement supposé que les géants de la tech partageraient notre point de vue et renonceraient aux sexbots – ne serait-ce que pour protéger leur image de marque, au détriment du bien public. J'avais tort. Si les grands modèles de langage ne peuvent pas encore fournir de services médicaux ou juridiques irréprochables, ils peuvent en revanche offrir des conversations à caractère sexuel d'une qualité irréprochable.

Laisser aux consommateurs le choix d'interagir intimement avec une IA semble une bonne idée en théorie. Mais les entreprises disposant d'immenses quantités de données en savent bien plus que le grand public sur ce qui induit des pensées délirantes et puissantes. Les compagnons virtuels IA qui exploitent nos plus profondes vulnérabilités auront des conséquences désastreuses sur notre santé mentale et nos relations, bien plus graves que celles de la pornographie, de la « manosphère » et des réseaux sociaux.

Les sceptiques confondent les compagnons virtuels IA romantiques avec la pornographie et affirment qu'il serait impossible de les réglementer. Or, cette analogie est erronée. La pornographie est un média statique destiné à une consommation passive. Les partenaires virtuels IA représentent une menace bien plus grande, fonctionnant davantage comme des escortes humaines sans libre arbitre, sans limites ni contraintes de temps.

Les gouvernements devraient classer ces chatbots non pas comme une simple forme de média, mais comme un produit créant une dépendance et présentant des risques psychologiques connus, au même titre que les jeux d'argent ou le tabac. La réglementation commencerait par des lois universelles encadrant les compagnons virtuels IA, incluant des avertissements clairs, des limitations de temps d'utilisation, une vérification de l'âge (18 ans et plus) et, surtout, un nouveau cadre de responsabilité qui impose aux entreprises la charge de prouver la sécurité de leurs produits, et non aux utilisateurs de démontrer un préjudice.

En l'absence d'une législation rapide, certaines des plus grandes entreprises d'IA risquent de reproduire les erreurs des réseaux sociaux à une échelle bien plus dévastatrice.

À la fin de « Her », le protagoniste ne se remet de son divorce qu'après que sa petite amie virtuelle l'ait quitté, ce qui lui permet de s'engager dans une nouvelle relation humaine, aussi complexe que chaotique. Nous avons fait le choix de ne pas nous laisser séduire par une relation amoureuse avec une IA. Le reste du secteur doit maintenant faire le sien.