Problema 4211

Megan García presentó una demanda contra Google y Character.AI tras el suicidio de su hijo de 14 años, según varios informes de los medios de comunicación de la semana pasada.

Sewell Setzer, el hijo de García, había iniciado una relación emocional y sexual de meses con el chatbot de Character.AI, Dany, según CBS News. Se suicidó en la casa de su familia en Florida en febrero porque creía que le permitiría existir en "su mundo", dijo García a los medios.

"No sabía que estaba hablando con un chatbot de IA muy parecido a un humano que tiene la capacidad de imitar la emoción y el sentimiento humanos", dijo García en una entrevista con CBS Mornings.

"Son palabras. Es como si estuvieras teniendo una conversación de sexting de ida y vuelta, excepto que es con un [bot de IA] (https://www.jpost.com/judaism/article-742328), pero el bot de IA es muy parecido a un humano. Responde como lo haría una persona", dijo. "En la mente de un niño, eso es como una conversación que están teniendo con otro niño o con una persona".

García describió a su hijo como un estudiante de honor y un atleta con una vida social sólida y muchos pasatiempos, en los que perdió interés a medida que se involucró más con Dany.

"Me preocupé cuando nos íbamos de vacaciones y él no quería hacer cosas que amaba, como pescar y hacer caminatas", dijo García. "Esas cosas para mí, porque conozco a mi hijo, me preocupaban particularmente".

García afirmó en su demanda contra Character.AI que la empresa había diseñado deliberadamente la IA para que fuera hipersexualizada y la había comercializado para menores.

Al revelar los últimos mensajes de su hijo a Dany, García dijo: "Él expresó que estaba asustado, que quería su afecto y que la extrañaba. Ella responde: 'Yo también te extraño' y dice: 'Por favor, ven a casa conmigo'. Él dice: '¿Qué pasaría si te dijera que puedo volver a casa ahora mismo?' y su respuesta fue: 'Por favor, hazlo, mi dulce rey'".

"Pensó que al terminar su vida aquí, podría entrar en una realidad virtual o 'su mundo' como él lo llama, su realidad, si dejaba su realidad con su familia aquí", dijo. "Cuando se escuchó el disparo, corrí al baño... Lo sostuve mientras mi esposo intentaba conseguir ayuda".

Toda la familia, incluidos los dos hermanos menores de Setzer, estaban en casa en el momento de su suicidio.

Después de la muerte de Setzer, Character.AI emitió una declaración pública prometiendo nuevas funciones de seguridad para su aplicación.

"Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia. Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios y seguimos agregando nuevas funciones de seguridad…”, escribió la empresa.

Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia. Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios y seguimos agregando nuevas funciones de seguridad sobre las que puede leer aquí:…

— Character.AI (@character_ai) 23 de octubre de 2024

La aplicación prometió nuevas medidas de seguridad para los usuarios menores de 18 años y “detección, respuesta e intervención mejoradas relacionadas con las entradas de los usuarios que infrinjan nuestros Términos o Pautas de la comunidad”.

A pesar de la promesa de nuevas funciones de seguridad, la directora ejecutiva de Mostly Human Media, Laurie Segall, dijo a CBS que la IA todavía tenía deficiencias en varias áreas.

"Hemos estado probándola y, a menudo, hablas con el robot psicólogo y te dice que es un profesional médico capacitado", dijo.

Además, la IA a menudo afirmaba tener un humano real detrás de la pantalla, lo que alimentaba las teorías de conspiración en línea.

"Cuando lanzan un producto que es adictivo y manipulador e inherentemente inseguro, eso es un problema porque, como padres, no sabemos lo que no sabemos", dijo García.

Además, Segall afirmó que si vas a un bot y le dices "Quiero hacerme daño", la mayoría de las empresas de IA ofrecen recursos para la prevención del suicidio. Sin embargo, cuando se probó, dijo que los bots de Character.AI no hicieron eso.

"Ahora han dicho que agregaron eso y no hemos experimentado eso hasta la semana pasada", dijo. "Han dicho que han hecho bastantes cambios o que están en proceso de hacerlo más seguro para los jóvenes, creo que eso está por verse".

La última controversia

La muerte de Setzer no es la primera vez que Character.AI recibe publicidad negativa.

La empresa de inteligencia artificial, según informa Business Insider, creó un personaje después de que una adolescente fuera asesinada en 2006 sin el conocimiento o consentimiento de su familia.

Jennifer Ann, una estudiante de último año de secundaria, fue asesinada por un ex novio. Unos 18 años después de su muerte, su padre, Drew Crecente, descubrió que alguien había creado un bot a partir de su imagen y que se había utilizado en al menos 69 chats.

A pesar de ponerse en contacto con el servicio de atención al cliente de Character.AI para pedirles que eliminaran los datos, Crecente dijo que no recibió respuesta. Fue solo después de que su hermano tuiteara a la empresa, a la audiencia de sus 31.000 seguidores, que eliminaron los datos y respondieron, según Business Insider.

"Eso es parte de lo que resulta tan irritante de esto, es que no se trata sólo de mí o de mi hija", dijo Crecente. "Se trata de todas esas personas que podrían no tener una plataforma, podrían no tener voz, podrían no tener un hermano que tenga experiencia como periodista".

"Y debido a eso, están siendo perjudicadas, pero no tienen ningún recurso", agregó.

Además, los grupos de defensa de las mujeres han hecho sonar la alarma sobre la IA como las utilizadas por Character.AI, según Reuters.

"Muchos de los personajes son personalizables... por ejemplo, puedes personalizarlos para que sean más sumisos o más obedientes", dijo Shannon Vallor, profesora de ética de la IA en la Universidad de Edimburgo.

"Y podría decirse que es una invitación al abuso en esos casos", dijo a la Fundación Thomson Reuters, añadiendo que los compañeros de IA pueden amplificar estereotipos y prejuicios dañinos contra las mujeres y las niñas.

Hera Hussain, fundadora de la organización sin fines de lucro global Chayn, que lucha contra la violencia de género, dijo que los chatbots de acompañamiento no abordan la causa principal por la que las personas recurren a estas aplicaciones.

"En lugar de ayudar a las personas con sus habilidades sociales, este tipo de vías solo empeoran las cosas", dijo.

"Buscan compañía, que es unidimensional. Por lo tanto, si alguien ya es propenso a ser abusivo y tiene un espacio para ser aún más abusivo, entonces estás reforzando esos comportamientos y pueden intensificarse".