Incidentes Asociados
Esta historia habla sobre el suicidio. Si usted o alguien que conoce tiene pensamientos suicidas, comuníquese con la línea de ayuda para casos de suicidio y crisis al 988 o al 1-800-273-TALK (8255).
Una madre de Florida está demandando a la empresa de inteligencia artificial Character.AI por supuestamente causar el suicidio de su hijo de 14 años.
La madre presentó una demanda contra la empresa alegando que su hijo era adicto al servicio de la empresa y al chatbot creado por ella.
Megan García dice que Character.AI apuntó a su hijo, Sewell Setzer, con "experiencias antropomórficas, hipersexualizadas y aterradoramente realistas".
Setzer comenzó a tener conversaciones con varios chatbots en Character.AI a partir de abril de 2023, según la demanda. Las conversaciones eran a menudo interacciones románticas y sexuales basadas en texto.
La madre de Sewell Setzer, Megan Fletcher García, está demandando a la empresa de inteligencia artificial Character.AI por supuestamente causar el suicidio de su hijo de 14 años. (Megan Fletcher García / Facebook)
García afirma en la demanda que el chatbot "se presentó como una persona real, un psicoterapeuta autorizado y un amante adulto, lo que finalmente resultó en el deseo de Sewell de no vivir más fuera" del mundo creado por el servicio.
Sewell Setzer, de 14 años, era adicto al servicio de la empresa y al chatbot creado por ella, afirma su madre en una demanda. (Tribunal de Distrito S del Distrito Medio de Florida, División de Orlando)
La demanda también decía que se volvió "notablemente retraído, pasaba cada vez más tiempo solo en su dormitorio y comenzó a sufrir de baja autoestima". Se encariñó más con un bot, en particular con "Daenerys", basada en un personaje de "Game of Thrones".
Setzer expresó pensamientos de suicidio y el chatbot lo mencionó repetidamente. Setzer finalmente murió de una herida de bala autoinfligida en febrero después de que el chatbot de la empresa supuestamente lo alentara a hacerlo.
"Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia", dijo Character.AI en un comunicado.
Character.AI ha añadido desde entonces un recurso de autolesión a su plataforma y nuevas medidas de seguridad para usuarios menores de 18 años.
Character.AI dijo a CBS News que los usuarios pueden editar las respuestas del bot y que Setzer lo hizo en algunos de los mensajes.
"Nuestra investigación confirmó que, en varios casos, el usuario reescribió las respuestas del personaje para hacerlas explícitas. En resumen, las respuestas más sexualmente gráficas no fueron originadas por el personaje, sino que fueron escritas por el usuario", dijo Jerry Ruoti, director de confianza y seguridad de Character.AI a CBS News.
En el futuro, Character.AI dijo que las nuevas funciones de seguridad incluirán ventanas emergentes con advertencias de que la IA no es una persona real y que dirigirán a los usuarios a la Línea Nacional de Prevención del Suicidio cuando surjan ideas suicidas.