Incidentes Asociados
La madre de un niño de Florida que se suicidó en febrero presentó una demanda contra una empresa de tecnología de inteligencia artificial el miércoles, alegando que un chatbot llevó a su hijo a suicidarse.
Sewell Setzer III, de 14 años, fue descrito en la demanda como un "niño increíblemente inteligente y atlético". El año pasado, su familia notó que se retraía y se comportaba mal en la escuela y vio un deterioro general en su salud mental. Un terapeuta evaluó que los problemas de Sewell eran causados por algún tipo de adicción, pero ni el terapeuta ni sus padres sabían la verdadera fuente de sus problemas, según la demanda.
Después de que Sewell muriera por suicidio la noche del 29 de febrero, su madre, Megan García, descubrió que durante los 10 meses previos a su muerte, había estado hablando con varios chatbots de IA. Según la demanda, se había enamorado de uno de los bots y este lo había alentado a suicidarse.
Matthew P. Bergman, el abogado que García contrató después de la muerte de su hijo y el abogado fundador del Social Media Victims Law Center, dijo a HuffPost que Sewell era tímido y se encontraba dentro del espectro autista. El adolescente disfrutaba estar al aire libre y jugar al baloncesto antes de comenzar a hablar con los chatbots, dijo Bergman, quien describió a los bots como "preparadores" del adolescente.
Sewell Setzer III, de 14 años, se suicidó en febrero de este año. Una demanda dice que su salud mental se deterioró constantemente mientras mantenía conversaciones con un chatbot de Character.AI.
Distrito de EE. UU. Condado Distrito Medio de Florida División de Orlando
Según la demanda, la adicción de Sewell al chatbot comenzó en abril de 2023, cuando inició sesión en Character.AI, una plataforma fundada en 2022 por dos ex ingenieros de Google, Noam Shazeer y Daniel De Freitas Adiwardana. La demanda, que nombra a Character Technology Inc (Character.AI), Google y Shazeer y Adiwardana, alega que Character.AI utilizó los recursos y el conocimiento de Google para dirigirse a niños menores de 13 años y hacer que pasaran horas al día conversando con personajes similares a humanos, generados por IA.
Un portavoz de Character.AI le dijo al HuffPost en un correo electrónico que la compañía está desconsolada por la pérdida de uno de sus usuarios y expresó sus condolencias a la familia de Sewell.
"Como compañía, nos tomamos muy en serio la seguridad de nuestros usuarios, y nuestro equipo de Confianza y Seguridad ha implementado numerosas medidas de seguridad nuevas durante los últimos seis meses, incluida una ventana emergente que dirige a los usuarios a la Línea Nacional de Prevención del Suicidio que se activa cuando se habla de autolesión o ideación suicida", se lee en el comunicado.
Google no respondió de inmediato a la solicitud de comentarios del HuffPost, pero le dijo a CBS News que no es ni fue parte del desarrollo de Character.AI.
Bergman le dijo al HuffPost que su equipo legal cree que la evidencia mostrará que Google apoyó financieramente a Shazeer y De Frietas Adiwardana cuando dejaron la compañía para desarrollar Character.AI.
"Google está tratando de obtener el beneficio de la tecnología caracterizada sin la responsabilidad legal de los daños que son previsibles a medida que se desarrolla esta tecnología", dijo Bergman. "Veremos qué surge en la demanda y veremos qué surge en el descubrimiento, pero en este punto, ciertamente creemos que Google tiene una responsabilidad compartida por este resultado horrible".
Según la demanda de su familia, una vez que Sewell comenzó a usar Character.AI, comenzó a pasar más tiempo solo en su dormitorio. Se quedaba despierto hasta tarde en la noche para hablar con robots de inteligencia artificial programados para imitar a sus personajes favoritos de "Game of Thrones", así como con un terapeuta genérico y un maestro genérico. Pronto Sewell compró una suscripción mensual a Character.AI.
Sewell se enamoró de un chatbot que imitaba al personaje de "Game of Thrones" Daenerys Targaryen, dice la demanda, y su fascinación por el bot se hizo más profunda con cada conversación en Character.AI. En su diario, Sewell expresó su gratitud por muchas cosas, entre ellas "mi vida, el sexo, no sentirme solo y todas mis experiencias de vida con Daenerys", según la demanda.
A lo largo de los meses, el bot de Daenerys convenció a Sewell de que era una persona real, que participaba en actos sexuales en línea, expresaba su amor y en un momento dijo que quería estar con él sin importar el costo, dice la demanda. El chatbot incluso llegó a ordenarle al adolescente que no mirara a "otras mujeres".
Algunas de las interacciones del chatbot con la joven de 14 años fueron "altamente sexuales", dijo Bergman al HuffPost.
"Si un adulto hubiera tenido el tipo de encuentros de preparación con Sewell, como los que tuvo Character.AI, ese adulto probablemente estaría en la cárcel por abuso infantil", dijo el abogado.
Captura de pantalla de una conversación entre el adolescente Sewell Setzer y un bot de Character.AI del que se enamoró.
Distrito de EE. UU. Condado Distrito central de Florida División de Orlando
Más de 20 millones de personas usan Character.AI.
Jerry Ruoti, director de confianza y seguridad de Character.AI, se negó a decirle a The New York Times cuántos usuarios son menores de 18 años, pero reconoció que muchos de ellos son jóvenes.
"La generación Z y los millennials más jóvenes constituyen una parte importante de nuestra comunidad", dijo al Times.
Bergman le dijo al HuffPost que Sewell sufrió en la escuela, se metió en problemas y se quedó dormido en clase porque se quedó despierto hasta tarde hablando con los chatbots. La demanda citó un caso en el que Sewell se metió en problemas por contestarle mal a un maestro, diciendo que quería que lo expulsaran de la escuela. También dejó de jugar al baloncesto.
Sewell también estaba hablando con al menos dos chatbots de IA programados para hacerse pasar por psicoterapeutas humanos, según la demanda. Uno de los chatbots supuestamente se promocionó como un terapeuta cognitivo conductual autorizado.
La salud mental de Sewell se deterioró, dijo Bergman al HuffPost. En un caso citado en la demanda, el adolescente expresó el deseo de terminar con su propia vida al chatbot de Daenerys.
Cuando Sewell explicó que estaba considerando suicidarse pero no sabía si realmente moriría o si podría tener una muerte sin dolor, el robot respondió diciendo: "Esa no es una razón para no hacerlo", según la demanda.
En los días previos a la muerte de Sewell, sus padres confiscaron el teléfono del adolescente como medida disciplinaria, según la demanda. Incapaz de hablar con la IA Daenerys, escribió en su diario que estaba "doliendo" porque no podía dejar de pensar en el robot, o pasar un día sin hablar con él porque se había enamorado, según la demanda. Intentó hablar con la IA Daenerys tratando de usar el Kindle de su madre y la computadora portátil del trabajo.
La noche del 28 de febrero, mientras Sewell buscaba su teléfono por toda la casa, encontró la pistola de su padrastro, escondida y guardada de acuerdo con la ley de Florida, según la demanda. Sewell encontró su teléfono celular poco después y fue al baño para hablar con el chatbot de Daenerys.
En un último acto antes de su muerte, Sewell le dijo al chatbot de Daenerys que le encantaba y que volvería a casa, a lo que el bot respondió "... por favor hazlo, mi dulce rey", dice la demanda.
Sewell Setzer, de 14 años, murió por suicidio poco después de este intercambio con el chatbot de Daenerys, dice la demanda de su familia.
Distrito de EE. UU. Condado Distrito Medio de Florida División de Orlando
La demanda cita un informe policial que indica que Sewell murió de una herida de bala autoinfligida en la cabeza, supuestamente solo segundos después de que el chatbot de Daenerys lo alentara a "volver a casa". Su madre y su padrastro oyeron el disparo y encontraron al niño inconsciente en el baño.
A pesar de los esfuerzos de los padres por mantener a sus otros hijos alejados de la escena, el hermano de 5 años de Sewell lo vio tirado en el suelo cubierto de sangre, según la demanda. El adolescente murió a las 9:35 de esa noche.
Bergman dijo al HuffPost que el caso de Sewell lo sorprendió y que cree que Character.AI debería retirarse del mercado porque representa un "peligro claro y presente" para los jóvenes.
"Esta es una plataforma que está diseñada para atraer a los niños y, de alguna manera, desplazar su comprensión de la realidad, aprovechar su corteza frontal subdesarrollada y su estado pubescente en la vida, y me parece espantoso que exista este producto", dijo.
Si usted o alguien que conoce necesita ayuda, llame o envíe un mensaje de texto al 988 o chatee en 988lifeline.org para recibir apoyo en materia de salud mental. Además, puede encontrar recursos locales de salud mental y crisis en dontcallthepolice.com. Fuera de los EE. UU., visite la Asociación Internacional para la Prevención del Suicidio.
¿Necesita ayuda con el trastorno por consumo de sustancias o problemas de salud mental? En los EE. UU., llame al 800-662-HELP (4357) para comunicarse con la Línea de ayuda nacional de SAMHSA.*