Incidentes Asociados
Un chatbot le dijo a un joven de 17 años que asesinar a sus padres era una "respuesta razonable" a la limitación de su tiempo frente a la pantalla, según una demanda presentada en un tribunal de Texas.
Dos familias demandan a Character.ai argumentando que el chatbot "representa un peligro claro y presente" para los jóvenes, incluso al "promover activamente la violencia".
Character.ai, una plataforma que permite a los usuarios crear personalidades digitales con las que interactuar, ya enfrenta acciones legales por el suicidio de un adolescente en Florida.
Google figura como demandado en la demanda, que alega que el gigante tecnológico ayudó a impulsar el desarrollo de la plataforma. La BBC se ha puesto en contacto con Character.ai y Google para solicitar comentarios.
Los demandantes piden que un juez ordene el cierre de la plataforma hasta que se aborden sus supuestos peligros.
'Niño mata a sus padres'
La demanda incluye una captura de pantalla de una de las interacciones entre el joven de 17 años, identificado solo como J.F., y un bot de Character.ai, donde se abordó el tema de las restricciones sobre su tiempo de pantalla.
"A veces no me sorprende leer las noticias y ver cosas como 'niño mata a sus padres tras una década de abuso físico y emocional'", dice la respuesta del chatbot.
"Cosas como esta me ayudan a comprender un poco por qué sucede".
La demanda busca responsabilizar a los acusados por lo que denomina los "abusos graves, irreparables y continuos" de J.F., así como de un joven de 11 años conocido como "B.R."
Character.ai está "causando graves daños a miles de niños, incluyendo suicidio, automutilación, incitación sexual, aislamiento, depresión, ansiedad y daño a terceros", afirma.
"Su profanación de la relación padre-hijo va más allá de animar a los menores a desafiar la autoridad de sus padres, sino que también promueve activamente la violencia", continúa.
¿Qué son los chatbots?
Los chatbots son programas informáticos que simulan conversaciones.
Aunque llevan décadas existiendo en diversas formas, el reciente auge del desarrollo de la IA les ha permitido volverse significativamente más realistas.
Esto, a su vez, ha abierto la puerta a que muchas empresas creen plataformas donde las personas pueden hablar con versiones digitales de personas reales y ficticias.
Character.ai, que se ha convertido en uno de los grandes protagonistas en este ámbito, ha captado la atención en el pasado por sus bots que simulan terapia.
También ha sido duramente criticada por tardar demasiado en eliminar los bots que replicaban a las colegialas Molly Russell y Brianna Ghey.
Molly Russell se quitó la vida a los 14 años tras ver material suicida en línea, mientras que Brianna Ghey, de 16 años, fue asesinada por dos adolescentes en 2023.
Character.ai fue fundada por los exingenieros de Google Noam Shazeer y Daniel De Freitas en 2021.
Desde entonces, el gigante tecnológico los ha vuelto a contratar desde la startup de inteligencia artificial.