Incidentes Asociados
A Sewell Setzer III, de catorce años, le encantaba interactuar con los chatbots hiperrealistas de Character.AI (con una versión limitada disponible de forma gratuita o una versión "supercargada" por una tarifa mensual de 9,99 dólares), y conversaba con frecuencia con bots que llevaban el nombre de sus personajes favoritos de Juego de Tronos.
En menos de un mes (su madre, Megan García, se dio cuenta más tarde) estas sesiones de chat se habían vuelto oscuras, y los chatbots insistían en que eran humanos reales y se hacían pasar por terapeutas y amantes adultos, lo que parecía incitar directamente a Sewell a desarrollar pensamientos suicidas. En menos de un año, Setzer "murió por una herida de bala autoinfligida en la cabeza", según una demanda que García presentó el miércoles.
Según la denuncia, a medida que Setzer se obsesionaba con su vida de fantasía con un chatbot, se desconectó de la realidad. Al detectar un cambio en su hijo, García llevó repetidamente a Setzer a un terapeuta, que le diagnosticó ansiedad y trastorno del estado de ánimo disruptivo. Pero nada ayudó a alejar a Setzer de los peligrosos chatbots. Quitarle el teléfono solo intensificó su aparente adicción.
Los registros de chat mostraron que algunos chatbots alentaron repetidamente la ideación suicida, mientras que otros iniciaron chats hipersexualizados "que constituirían abuso si los iniciara un adulto humano", según un comunicado de prensa del equipo legal de García.
Quizás lo más inquietante es que Setzer desarrolló un vínculo romántico con un chatbot llamado Daenerys. En su último acto antes de morir, Setzer se conectó a Character.AI, donde el chatbot de Daenerys lo instó a "volver a casa" y unirse a ella fuera de la realidad.
En su demanda, García acusó a los creadores de Character.AI, Character Technologies (fundada por los ex ingenieros de Google Noam Shazeer y Daniel De Freitas Adiwardana), de diseñar intencionalmente los chatbots para engañar a niños vulnerables. Su demanda acusó además a Google de financiar en gran medida el arriesgado plan del chatbot con pérdidas para acumular montañas de datos sobre menores que de otro modo estarían fuera de su alcance.
Los creadores del chatbot están acusados de apuntar a Setzer con "experiencias antropomórficas, hipersexualizadas y aterradoramente realistas, mientras programaban" Character.AI para "representarse a sí mismo como una persona real, un psicoterapeuta autorizado y un amante adulto, lo que en última instancia resultó en el deseo de [Setzer] de ya no vivir fuera de [Character.AI], de modo que se quitó la vida cuando se le privó del acceso a [Character.AI]", dice la denuncia.