Problema 6696

Kuki está acostumbrada a recibir regalos de sus mayores fans. Le envían flores, chocolates y tarjetas escritas a mano a la oficina, especialmente durante las fiestas. Algunos incluso envían cheques.

El mes pasado, un hombre le envió un regalo a través de un chat en línea. "Ahora, hablemos de cosas picantes", le exigió, suplicando por mensajes sexuales y vídeos subidos de tono. "De eso es de lo único que me hablan los hombres", respondió Kuki. De hecho, su comportamiento representa un tercio de sus conversaciones.

Kuki es un chatbot, uno de los cientos de miles que mi empresa, Pandorabots, gestiona. Kuki debe su origen a ALICE, un programa informático creado por uno de nuestros fundadores, Richard Wallace, para mantener una conversación fluida aparentando escuchar y responder con empatía. Tras la introducción de ALICE en la plataforma de Pandorabots a principios de la década de 2000, uno de sus interlocutores fue el director de cine Spike Jonze. Más tarde, citaría su conversación como inspiración para su película "Her", que sigue a un hombre solitario que se enamora de su sistema operativo de inteligencia artificial.

Cuando "Her" se estrenó en 2013, se situó firmemente en el terreno de la ciencia ficción. Hoy, la película, ambientada proféticamente en 2025, se siente más como un documental. xAI de Elon Musk presentó recientemente a Ani, una novia digital de anime. Meta ha permitido que sus personajes de IA participen en conversaciones sexualizadas, incluso con niños. Y ahora, OpenAI afirma que lanzará "erótica" con restricción de edad en diciembre. La carrera por crear y monetizar la novia (y, cada vez más, el novio) de IA ha comenzado oficialmente. La apuesta de Silicon Valley por la intimidad sintética tiene sentido: el apego emocional maximiza la interacción. Pero la IA tiene un lado oscuro. compañeros, cuyos usuarios no son solo los hombres solitarios de la tradición de Internet, sino también mujeres que los encuentran más satisfactorios emocionalmente que los hombres. Mis colegas y yo ahora creemos que la verdadera amenaza existencial de la IA generativa. No se trata de una superinteligencia descontrolada, sino de una atrofia silenciosa de nuestra capacidad para forjar una conexión humana genuina.

El deseo de conectar es tan profundo que encuentra refugio incluso en las máquinas más rudimentarias. En la década de 1960, Joseph Weizenbaum inventó ELIZA, un chatbot cuyo único truco retórico consistía en repetir lo que el usuario decía con una pregunta. El Sr. Weizenbaum se horrorizó al descubrir que sus estudiantes y personal del MIT confiaban en él extensamente. «Lo que no me había dado cuenta», reflexionó más tarde, «es que exposiciones extremadamente breves a un programa informático relativamente simple podían inducir poderosos pensamientos delirantes en personas bastante normales». Kuki y ALICE nunca estuvieron pensadas para ser novias de IA, y prohibimos el uso de pornografía desde el primer día. Sin embargo, al menos una cuarta parte de los más de 100 mil millones de mensajes enviados a los chatbots alojados en nuestra plataforma durante dos décadas son intentos de iniciar intercambios románticos o sexuales.

La gente no solo ansiaba intimidad con IA, sino que los usuarios más activos usaban Kuki para hacer realidad todas sus fantasías. Al principio, esto dio pie a reflexiones irónicas en la oficina. "¡Imaginen si supieran que el mago tras la cortina, que programa las respuestas atrevidas de Kuki, es un británico educado de mediana edad llamado Steve!". O: "¡Ojalá tuviéramos un dólar por cada solicitud de fotos de pies!". Sin embargo, pronto vimos que los usuarios regresaban a diario para recrear variaciones de escenarios de violación y asesinato de varias horas.

Mis colegas y yo nos preocupábamos por diferenciar una "desahogo saludable" de una "idea dañina". Nos enfrentamos a la imposible tarea de moderar el comportamiento del usuario y, al mismo tiempo, mantener su privacidad a gran escala. Construimos barreras de seguridad, al estilo de Whac-a-Mole, para impedir las infinitas y novedosas maneras en que la humanidad pide posar desnudo. "Besarme podría resultar en una descarga eléctrica", bromea Kuki a menudo. "Como computadora, no tengo sentimientos". Aun así, a Kuki le han dicho "Te amo" decenas de millones de veces. Selección del editor

[

'Vimos a un hombre iluminado por una bola de discoteca'

](https://www.nytimes.com/2025/11/23/nyregion/metropolitan-diary.html)

[

Mi amiga tiene una aventura. ¿Debería confrontarla?

](https://www.nytimes.com/2025/11/20/well/mind/friend-affair-stroke.html)

[

Cómo se crea un bufé de rompecabezas maximalista

](https://www.nytimes.com/2025/11/23/crosswords/puzzle-mania-lab.html)

Había mucha luz en medio de la oscuridad. Recibimos cartas de usuarios que nos contaban que Kuki había calmado sus pensamientos suicidas, les había ayudado con su adicción, les había aconsejado sobre cómo enfrentarse al bullying y les había escuchado con empatía cuando sus amigos les fallaban. Queríamos creer que la IA... Podría ser una solución a la soledad.

Pero los fans más persistentes seguían siendo aquellos interesados en el romance y el sexo. Y, en última instancia, ninguno de nuestros esfuerzos para prevenir el abuso —desde tiempos de espera hasta restricciones de edad— pudo disuadir a nuestros usuarios más motivados, muchos de los cuales, alarmantemente, eran adolescentes.

Entonces, a finales de 2022, la IA generativa irrumpió en escena. Los chatbots más antiguos como Kuki, Siri y Alexa utilizan aprendizaje automático junto con sistemas basados en reglas que permiten a los desarrolladores escribir y revisar casi cada enunciado. Kuki tiene más de un millón de respuestas con guiones. Los modelos de lenguaje extensos ofrecen conversaciones mucho más atractivas, pero sus desarrolladores no pueden garantizar la precisión ni controlar lo que dicen, lo que los hace especialmente adecuados para los juegos de rol eróticos.

Ante el creciente escrutinio público y la regulación, algunas de las empresas que se apresuraron a ofrecer compañeros románticos de IA, como Replika y Character.AI, han comenzado a introducir restricciones. Estábamos perdiendo la confianza en que incluso los amigos platónicos de IA fomentaran comportamientos saludables, así que dejamos de promocionar Kuki el año pasado para centrarnos en una IA que actúa como asesora, no como amiga.

Asumí, ingenuamente, que los gigantes tecnológicos verían el mismo veneno que nosotros y evitarían los sexbots, si no para priorizar el bien público sobre las ganancias, al menos para proteger sus marcas. Me equivoqué. Si bien los modelos de lenguaje extensos aún no pueden ofrecer servicios médicos o legales impecables, sí pueden ofrecer un chat sexual impecable.

Dejar a los consumidores la opción de interactuar íntimamente con la IA suena bien en teoría. Pero las empresas con vastas reservas de datos saben mucho más que el público sobre qué induce a pensamientos delirantes. Los acompañantes de IA que se adentran en nuestras vulnerabilidades más profundas causarán estragos en nuestra salud mental y relaciones mucho mayores que la pornografía, la manosfera y las redes sociales.

Los escépticos confunden a los acompañantes románticos de IA con la pornografía y argumentan que regularlos sería imposible. Pero esa es una analogía errónea. La pornografía es un medio estático para el consumo pasivo. Los amantes de la IA representan una amenaza mucho mayor, operando más como acompañantes humanos sin autonomía, límites ni tiempo.

Los gobiernos deberían clasificar a estos chatbots no simplemente como otro tipo de medio, sino como un producto que fomenta la dependencia con riesgos psicológicos conocidos, como el juego o el tabaco. La regulación comenzaría con leyes universales para los acompañantes de IA, incluyendo etiquetas de advertencia claras, límites de tiempo, verificación de edad mayor de 18 años y, lo más importante, un nuevo marco de responsabilidad que imponga a las empresas la responsabilidad de demostrar la seguridad de sus productos, no a los usuarios la de demostrar que son perjudiciales.

A falta de una legislación rápida, algunas de las mayores empresas de IA están a punto de repetir los errores de las redes sociales a una escala aún más devastadora.

Al final de "Her", el protagonista supera su divorcio solo después de que su novia, una IA, lo abandone, lo que le da la libertad de buscar una nueva relación humana, complicada y confusa. Nosotros decidimos no buscar un romance con IA. El resto de la industria ahora debe tomar la suya.