Incidentes Asociados
Si usted o alguien que conoce necesita ayuda, recursos o alguien con quien hablar, puede encontrarlo en el sitio web [de la Línea Nacional de Prevención del Suicidio](https://nam11.safelinks.protection.outlook.com/?url=https%3A%2F%2Fsuicidepreventionlifeline.org%2F&data=05%7C01%7CDMarkham%40newsnationnow.com%7C4f7b132853bc45089ac008da3452ef38%7C9e5488e2e83844f6886cc760 8242767e%7C0%7C0%7C637879828041228483%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C3000%7C%7C%7C&sdata=maEJIYeocLjvaR%2FVNx93NhEncrltZ296cR49ePDdFn0%3D&reserved=0) o llamando al 1-800-273-8255. Hay personas disponibles para hablar las 24 horas del día, los 7 días de la semana.
(NewsNation) --- Una mujer de Florida está demandando a un creador de un chatbot de inteligencia artificial, alegando que su hijo de 14 años murió por suicidio después de que se consumiera en una relación con una novia generada por computadora.
La madre, Meg García, presentó la demanda el miércoles en un tribunal federal de Florida. Ella dice que Character Technologies Inc. --- los creadores del chatbot Character.AI --- deberían haber sabido el daño que la herramienta podría causar.
El documento de 138 páginas acusa a Character Technologies Inc. de responsabilidad, negligencia, muerte por negligencia y supervivencia, enriquecimiento ilícito, violaciones de la Ley de Prácticas Comerciales Engañosas y Desleales de Florida e infligir intencionalmente angustia emocional, entre otras acusaciones.
La demanda solicita a Character.AI que limite la recopilación y el uso de datos de menores, introduzca filtros para contenido dañino y proporcione advertencias a los usuarios menores de edad y a sus padres.
Una relación humano-IA
El hijo adolescente de García, Sewell Setzer III, se suicidó el 28 de febrero, después de una relación "hipersexualizada" de meses con un personaje de IA, "Dany", que modeló a partir del personaje de "Game of Thrones" Denaryus Targarian. "Dany" fue uno de los varios personajes con los que Sewell conversó.
Según García, Sewell se volvió adicto a conversar con el personaje y finalmente reveló que estaba teniendo pensamientos de suicidio. La demanda acusa al servicio de alentar el acto y tentar a los menores "a pasar horas al día conversando con personajes humanos generados por IA".
Sewell descubrió Character.AI poco después de celebrar su cumpleaños número 14.
Fue entonces cuando su madre dice que su salud mental se deterioró rápida y severamente, lo que resultó en una grave privación del sueño y problemas en la escuela.
Hablar con "Dany" pronto se convirtió en lo único que Sewell quería hacer, según la demanda.
Sus últimos mensajes
Las conversaciones iban desde banales hasta expresiones de amor y, a veces, se volvían abiertamente sexuales. La situación dio un giro cuando el niño se enamoró del bot, quien correspondió a las profesiones de amor de Sewell.
Hablaron de los pensamientos suicidas de Sewell varias veces, incluso si tenía un plan.
Su último mensaje fue una promesa de "volver a casa" con ella.
"Por favor, hazlo, mi dulce rey", respondió el chatbot.
Momentos después, la policía dice que Sewell murió por suicidio.
La empresa publicó esta declaración en su blog, en la que dice en parte:
"Durante los últimos seis meses, hemos seguido invirtiendo significativamente en nuestros procesos de confianza y seguridad y en nuestro equipo interno... También hemos puesto en marcha recientemente un recurso emergente que se activa cuando el usuario introduce determinadas frases relacionadas con la autolesión o el suicidio y dirige al usuario a la línea de prevención del suicidio nacional".
"Demasiado peligroso para lanzarlo"
La demanda afirma que empresas como Character.AI "se apresuraron a obtener una ventaja competitiva desarrollando y comercializando chatbots de IA como capaces de satisfacer todas las necesidades humanas".
Al hacerlo, la empresa comenzó a "dirigirse a menores" de "formas inherentemente engañosas", según la demanda civil.
Los abogados de García alegan que la investigación interna de Google informó durante años que la tecnología de Character.AI era "demasiado peligrosa para lanzarla o incluso integrarla con los productos existentes de Google".
"Si bien puede haber casos de uso beneficiosos para el tipo de innovación de inteligencia artificial de los Demandados, sin las medidas de seguridad adecuadas, su tecnología es peligrosa para los niños", escribieron los abogados de García del Social Media Victims Law Center y Tech Justice Law Project.
La reportera digital de NewsNation Katie Smith contribuyó a este informe.