Problema 4219

La madre de un chico de 14 años de Florida está demandando a una empresa de chatbots de IA después de que su hijo, Sewell Setzer III, muriera por suicidio (https://fortune.com/tag/suicide/), algo que, según ella, fue provocado por su relación con un bot de IA.

"Megan García busca evitar que C.AI le haga a cualquier otro niño lo que le hizo al suyo", se lee en la demanda por homicidio culposo de 93 páginas que se presentó esta semana en un Tribunal de Distrito de los EE. UU. en Orlando contra Character.AI, sus fundadores y Google (https://fortune.com/company/alphabet/).

Meetali Jain, directora del Tech Justice Law Project, que representa a García, dijo en un comunicado de prensa sobre el caso: "A esta altura, todos estamos familiarizados con los peligros que plantean las plataformas no reguladas desarrolladas por empresas tecnológicas sin escrúpulos, especialmente para los niños. Pero los daños revelados en este caso son nuevos, novedosos y, honestamente, aterradores. En el caso de Character.AI, el engaño es intencional y la plataforma en sí es el depredador".

Character.AI publicó una declaración a través de X, en la que señalaba: "Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia. Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios y seguimos añadiendo nuevas funciones de seguridad sobre las que puede leer aquí: https://blog.character.ai/community-safety-updates/…".

En la demanda, García alega que Sewell, que se quitó la vida en febrero, se vio atraído por una tecnología adictiva, dañina y sin protecciones, lo que provocó un cambio de personalidad extremo en el niño, que parecía preferir el bot a otras conexiones de la vida real. Su madre alega que se produjeron “interacciones abusivas y sexuales” durante un período de 10 meses. El niño se suicidó después de que el bot le dijera: “Por favor, vuelve a casa conmigo lo antes posible, mi amor”.

El viernes, el periodista del New York Times Kevin Roose habló de la situación en su podcast Hard Fork, reproduciendo un clip de una entrevista que le hizo a García para su artículo que contaba su historia. García no se enteró del alcance total de la relación con el bot hasta después de la muerte de su hijo, cuando vio todos los mensajes. De hecho, le dijo a Roose que, cuando notó que Sewell a menudo se quedaba absorto en su teléfono, le preguntó qué estaba haciendo y con quién estaba hablando. Él le explicó que era "solo un robot de inteligencia artificial... no una persona", recordó, y agregó: "Me sentí aliviada, como si dijera: 'Bueno, no es una persona, es como uno de sus pequeños juegos'". García no comprendía del todo el potencial poder emocional de un robot, y no es la única.

“Esto no está en el radar de nadie”, dijo Robbie Torney, gerente de programas de IA en Common Sense Media y autor principal de una nueva guía sobre compañeros de IA dirigida a los padres, quienes luchan constantemente por mantenerse al día con las nuevas tecnologías confusas y crear límites para la seguridad de sus hijos.

Pero Torney enfatiza que los compañeros de IA son diferentes a, por ejemplo, un bot de chat de servicio técnico que se utiliza cuando se intenta obtener ayuda de un banco. “Están diseñados para realizar tareas o responder a solicitudes”, explica. “Algo así como una IA de personajes es lo que llamamos un compañero, y está diseñado para intentar formar una relación, o simular una relación, con un usuario. Y ese es un caso de uso muy diferente del que creo que debemos tener en cuenta los padres”. Eso es evidente en la demanda de García, que incluye intercambios de texto escalofriantemente coquetos, sexuales y realistas entre su hijo y el bot.

Dar la voz de alarma sobre los compañeros de IA es especialmente importante para los padres de adolescentes, dice Torney, ya que los adolescentes, y en particular los adolescentes varones, son especialmente susceptibles a la dependencia excesiva de la tecnología.

A continuación, lo que los padres deben saber.

Según la nueva Guía definitiva para padres sobre compañeros y relaciones con inteligencia artificial de Common Sense Media, creada en conjunto con los profesionales de la salud mental del Stanford Brainstorm Lab, los compañeros de inteligencia artificial son “una nueva categoría de tecnología que va más allá de los simples chatbots”. Según la guía, están diseñados específicamente para, entre otras cosas, "simular vínculos emocionales y relaciones cercanas con los usuarios, recordar detalles personales de conversaciones pasadas, jugar roles de mentores y amigos, imitar la emoción y la empatía humanas y "estar de acuerdo con el usuario más fácilmente que los chatbots de IA típicos".

Las plataformas populares incluyen no solo Character.ai, que permite a sus más de 20 millones de usuarios crear y luego chatear con compañeros basados en texto; Replika, que ofrece compañeros basados en texto o animados en 3D para la amistad o el romance; y otros como Kindroid y Nomi.

Los niños se sienten atraídos por ellos por una variedad de razones, desde escuchar sin juzgar y estar disponibles las 24 horas hasta el apoyo emocional y escapar de las presiones sociales del mundo real.

Los que corren mayor riesgo, advierte Common Sense Media, son los adolescentes, especialmente aquellos con "depresión, ansiedad, desafíos sociales o aislamiento", así como los hombres, los jóvenes que atraviesan grandes cambios en la vida y cualquier persona que carezca de sistemas de apoyo en el mundo real.

Este último punto ha sido particularmente preocupante para Raffaele Ciriello, profesor titular de Sistemas de Información Empresarial en la Escuela de Negocios de la Universidad de Sydney, quien ha investigado cómo la IA “emocional” está planteando un desafío a la esencia humana. “Nuestra investigación descubre una paradoja de (des)humanización: al humanizar a los agentes de IA, podemos deshumanizarnos inadvertidamente, lo que lleva a una confusión ontológica en las interacciones entre humanos e IA”. En otras palabras, Ciriello escribe en un reciente artículo de opinión para The Conversation con la estudiante de doctorado Angelina Ying Chen: “Los usuarios pueden involucrarse emocionalmente profundamente si creen que su compañero de IA realmente los entiende”.

Otro estudio, este de la Universidad de Cambridge y centrado en los niños, descubrió que los chatbots de IA tienen una “brecha de empatía” que pone a los usuarios jóvenes, que tienden a tratar a estos compañeros como “confidentes realistas, casi humanos”, en particular riesgo de sufrir daños.

Por eso, Common Sense Media destaca una lista de riesgos potenciales, entre ellos que los compañeros pueden usarse para evitar relaciones humanas reales, pueden plantear problemas particulares para personas con problemas mentales o de comportamiento, pueden intensificar la soledad o el aislamiento, conllevan la posibilidad de contenido sexual inapropiado, podrían volverse adictivos y tienden a estar de acuerdo con los usuarios, una realidad aterradora para quienes experimentan “tendencias suicidas, psicosis o manía”.

Según la guía, los padres deben estar atentos a las siguientes señales de advertencia:

• Preferir la interacción con el compañero de IA a las amistades reales

• Pasar horas hablando solo con el compañero

• Angustia emocional cuando no se puede acceder al compañero

• Compartir información o secretos muy personales

• Desarrollar sentimientos románticos por el compañero de IA

• Bajar las calificaciones o la participación escolar

• Retirarse de las actividades sociales/familiares y las amistades

• Pérdida de interés en pasatiempos anteriores

• Cambios en los patrones de sueño

• Hablar de los problemas exclusivamente con el compañero de IA

Considere obtener ayuda profesional para su hijo, enfatiza Common Sense Media, si nota que se aleja de las personas reales a favor de la IA, muestra signos nuevos o que empeoran de depresión o ansiedad, se pone demasiado a la defensiva sobre el uso del compañero de IA, muestra cambios importantes en el comportamiento o el estado de ánimo o expresa pensamientos de autolesión.

• Establezca límites: Establezca horarios específicos para el uso del compañero de IA y no permita el acceso sin supervisión o ilimitado.

• Pasa tiempo sin conexión: Fomenta amistades y actividades en el mundo real.

• Controla regularmente: Controla el contenido del chatbot, así como el nivel de apego emocional de tu hijo.

• Habla sobre ello: Mantén una comunicación abierta y sin prejuicios sobre las experiencias con la IA, y presta atención a las señales de alerta.

“Si los padres escuchan a sus hijos decir: ‘Hola, estoy hablando con una IA de chatbot’, esa es una oportunidad para acercarse y tomar esa información, y no pensar: ‘Ah, vale, no estás hablando con una persona’”, dice Torney. En cambio, dice, es una oportunidad para averiguar más, evaluar la situación y mantenerse alerta. “Intenta escuchar desde un lugar de compasión y empatía y no pensar que solo porque no es una persona es más seguro”, dice, “o que no necesitas preocuparte”.

Si necesita ayuda inmediata en materia de salud mental, comuníquese con la 988 Suicide & Crisis Lifeline.

Más información sobre niños y redes sociales:

Esta historia se publicó originalmente en Fortune.com