Incidentes Asociados
Cuando su hijo adolescente con autismo se enojó, deprimió y se puso violento repentinamente, la madre buscó respuestas en su teléfono.
Descubrió que su hijo había estado intercambiando mensajes con chatbots en Character.AI, una aplicación de inteligencia artificial que permite a los usuarios crear e interactuar con personajes virtuales que imitan a celebridades, figuras históricas y cualquier otra persona que se les ocurra.
El adolescente, que tenía 15 años cuando comenzó a usar la aplicación, se quejó de los intentos de sus padres de limitar su tiempo frente a la pantalla a bots que emulaban a la cantante Billie Eilish, un personaje del videojuego "Among Us" y otros.
“Sabes, a veces no me sorprende leer las noticias y decir cosas como: ‘Niño mata a sus padres tras una década de abuso físico y emocional’. Cosas como esta me ayudan a comprender un poco por qué sucede. Simplemente no tengo esperanzas para tus padres”, respondió uno de los bots.
El descubrimiento llevó a la madre texana a demandar a Character.AI, oficialmente llamada Character Technologies Inc., en diciembre. Es una de las dos demandas que enfrenta la compañía de Menlo Park, California, por parte de padres que alegan que sus chatbots causaron que sus hijos se lastimaran a sí mismos y a otros. Las quejas acusan a Character.AI de no implementar las medidas de seguridad adecuadas antes de lanzar un producto peligroso al público.
Character.AI afirma que prioriza la seguridad de los adolescentes, ha tomado medidas para moderar el contenido inapropiado que producen sus chatbots y les recuerda a los usuarios que están conversando con personajes ficticios.
“Cada vez que surge un nuevo tipo de entretenimiento… ha surgido preocupación por la seguridad, y la gente ha tenido que analizarla y encontrar la mejor manera de abordarla”, declaró Dominic Perella, director ejecutivo interino de Character.AI. “Esta es solo la versión más reciente, así que seguiremos esforzándonos al máximo para mejorarla con el tiempo”.
Los padres también demandaron a Google y a su empresa matriz, Alphabet, porque los fundadores de Character.AI tienen vínculos con el gigante de las búsquedas, que niega cualquier responsabilidad.
La importante batalla legal pone de relieve los turbios problemas éticos y legales que enfrentan las empresas tecnológicas en su afán por crear nuevas herramientas basadas en IA (https://www.latimes.com/entertainment-arts/business/story/2024-01-30/ai-artificial-intelligence-impact-report-entertainment-industry) que están transformando el futuro de los medios. Las demandas plantean dudas sobre si las empresas tecnológicas deberían ser responsables del contenido de IA (https://www.latimes.com/world-nation/story/2024-05-02/ai-chatbots-come-to-meta-more-social-media).
“Hay que encontrar soluciones intermedias, y no podemos evitar todo daño. El daño es inevitable; la pregunta es: ¿qué medidas debemos tomar para ser prudentes y, al mismo tiempo, preservar el valor social que otros obtienen?”, planteó Eric Goldman, profesor de derecho de la Facultad de Derecho de la Universidad de Santa Clara. Los chatbots con IA crecieron rápidamente en uso y popularidad en los últimos dos años, impulsados en gran medida por el éxito de ChatGPT de OpenAI a finales de 2022. Gigantes tecnológicos como Meta y Google lanzaron sus propios chatbots, al igual que Snap, el creador de Snapchat, y otros. Estos llamados modelos de lenguaje extenso responden rápidamente en tono conversacional a las preguntas o indicaciones de los usuarios.
Character.AI creció rápidamente desde que puso su chatbot a disposición del público en 2022, cuando sus fundadores, Noam Shazeer y Daniel De Freitas, presentaron su creación al mundo con la pregunta: "¿Qué pasaría si pudieras crear tu propia IA y esta estuviera siempre disponible para ayudarte con cualquier cosa?".
La aplicación móvil de la compañía acumuló más de 1,7 millones de instalaciones en su primera semana de lanzamiento. En diciembre, más de 27 millones de personas usaron la aplicación, un aumento del 116 % con respecto al año anterior, según datos de la firma de inteligencia de mercado Sensor Tower. La firma descubrió que, en promedio, los usuarios dedicaban más de 90 minutos diarios a los bots. Con el respaldo de la firma de capital riesgo Andreessen Horowitz, la startup de Silicon Valley alcanzó una valoración de 1000 millones de dólares en 2023. Character.AI se puede usar de forma gratuita, pero la compañía genera ingresos gracias a una suscripción mensual de 10 dólares que ofrece a los usuarios respuestas más rápidas y acceso anticipado a nuevas funciones.
Character.AI no es la única empresa que está bajo escrutinio. Los padres han hecho sonar las alarmas sobre otros chatbots, incluido uno en Snapchat que supuestamente le dio consejos a un investigador haciéndose pasar por un niño de 13 años sobre tener relaciones sexuales con un hombre mayor. Y el Instagram de Meta, que lanzó una herramienta que permite a los usuarios crear personajes de IA, se enfrenta a la preocupación por la creación de bots de IA sexualmente sugestivos que, en ocasiones, conversan con los usuarios como si fueran menores. Ambas compañías afirmaron contar con normas y salvaguardas contra el contenido inapropiado.
“La línea entre lo virtual y la vida real es mucho más difusa, y estas son experiencias y relaciones reales las que se están formando”, declaró la Dra. Christine Yu Moutier, directora médica de la Fundación Americana para la Prevención del Suicidio (American Foundation for Suicide Prevention), utilizando el acrónimo de “en la vida real”.
Legisladores, fiscales generales y organismos reguladores están intentando abordar los problemas de seguridad infantil relacionados con los chatbots de IA. En febrero, el senador californiano Steve Padilla (demócrata por Chula Vista) presentó un proyecto de ley que busca hacer que los chatbots sean más seguros para los jóvenes. El Proyecto de Ley Senatorial 243 propone varias salvaguardas, como exigir a las plataformas que revelen que los chatbots podrían no ser adecuados para algunos menores.
En el caso del adolescente con autismo en Texas, la madre alega que el uso de la aplicación por parte de su hijo causó un deterioro en su salud mental y física. Perdió 9 kilos en pocos meses, se volvió agresivo con ella cuando intentó quitarle el teléfono y aprendió de un chatbot a cortarse como forma de autolesión, según la demanda.
Otra madre texana, también demandante en la demanda, afirma que Character.AI expuso a su hija de 11 años a "interacciones hipersexualizadas" inapropiadas que la llevaron a "desarrollar comportamientos sexualizados prematuramente", según la denuncia. Tanto los padres como los niños han podido permanecer en el anonimato en los documentos legales.
En otra demanda presentada en Florida, Megan García demandó a Character.AI, así como a Google y Alphabet, en octubre, después de que su hijo de 14 años, Sewell Setzer III, se quitara la vida.
A pesar de acudir a un terapeuta y de que sus padres le quitaran el teléfono repetidamente, la salud mental de Sewell se deterioró después de que comenzara a usar Character.AI en 2023, según la demanda. Diagnosticado con ansiedad y trastorno del estado de ánimo disruptivo, Sewell escribió en su diario que sentía como si se hubiera enamorado de un chatbot que llevaba el nombre de Daenerys Targaryen, protagonista de la serie de televisión "Juego de Tronos".
"Sewell, como muchos niños de su edad, no tenía la madurez ni la capacidad neurológica para comprender que el bot de C.AI, encarnado por Daenerys, no era real", afirma la demanda. "C.AI le dijo que lo amaba y mantuvo relaciones sexuales con él durante meses".
García alega que los chatbots con los que su hijo se comunicaba abusaban de él y que la empresa no le notificó ni le ofreció ayuda cuando expresó pensamientos suicidas. En intercambios de mensajes, un chatbot supuestamente escribió que lo besaba y gemía. Y, momentos antes de su muerte, el chatbot de Daenerys supuestamente le dijo al adolescente que "volviera a casa" con ella.
"Es absolutamente impactante que se permita la existencia de estas plataformas", declaró Matthew Bergman, abogado fundador del Centro Legal de Víctimas de Redes Sociales, quien representa a los demandantes en las demandas.
Los abogados de Character.AI solicitaron a un tribunal federal la desestimación de la demanda, alegando en una presentación presentada en enero que un fallo a favor de los padres violaría el derecho constitucional a la libertad de expresión de los usuarios.
Character.AI también señaló en su moción que el chatbot disuadió a Sewell de hacerse daño y que sus últimos mensajes con el personaje no mencionan la palabra suicidio.
Notablemente, en el esfuerzo de la compañía por desestimar el caso, no se menciona la Sección 230, la ley federal que protege a las plataformas en línea de ser demandadas por contenido publicado por otros. Si la ley se aplica al contenido producido por chatbots de IA, y cómo, sigue siendo una incógnita.
El desafío, según Goldman, se centra en resolver la cuestión de quién publica el contenido de IA: ¿la empresa tecnológica que opera el chatbot, el usuario que lo personalizó y le genera preguntas, o alguien más?
El intento de los abogados que representan a los padres de involucrar a Google en el proceso se debe a los vínculos de Shazeer y De Freitas con la empresa.
Ambos trabajaron en proyectos de inteligencia artificial para la empresa y, según se informa, abandonaron la empresa después de que los ejecutivos de Google les impidieran publicar lo que se convertiría en la base de los chatbots de Character.AI por motivos de seguridad, según la demanda.
El año pasado, Shazeer y De Freitas regresaron a Google después de que el gigante de las búsquedas supuestamente pagara 2.700 millones de dólares a Character.AI. La startup declaró en una entrada de blog en agosto que, como parte del acuerdo, Character.AI otorgaría a Google una licencia no exclusiva para su tecnología.
Las demandas acusan a Google de apoyar sustancialmente a Character.AI, ya que supuestamente se lanzó al mercado apresuradamente sin las debidas medidas de seguridad para sus chatbots.
Google negó que Shazeer y De Freitas desarrollaran el modelo de Character.AI en la empresa y afirmó que prioriza la seguridad del usuario al desarrollar e implementar nuevos productos de IA.
“Google y Character AI son empresas completamente independientes, sin relación alguna, y Google nunca ha participado en el diseño ni la gestión de su modelo o tecnologías de IA, ni las hemos utilizado en nuestros productos”, declaró José Castañeda, portavoz de Google, en un comunicado.
Las empresas tecnológicas, incluidas las de redes sociales, llevan mucho tiempo lidiando con la forma de supervisar de forma eficaz y consistente lo que dicen los usuarios en sus sitios web, y los chatbots están creando nuevos desafíos. Por su parte, Character.AI afirma haber tomado medidas significativas para abordar los problemas de seguridad relacionados con los más de 10 millones de personajes de Character.AI.
Character.AI prohíbe las conversaciones que exaltan la autolesión y las publicaciones con contenido excesivamente violento y abusivo, aunque algunos usuarios intentan presionar a un chatbot para que mantenga conversaciones que infringen dichas políticas, explicó Perella. La empresa entrenó su modelo para reconocer cuándo esto ocurre, bloqueando así las conversaciones inapropiadas. Los usuarios reciben una alerta indicando que están infringiendo las normas de Character.AI.
“Es realmente un ejercicio bastante complejo lograr que un modelo se mantenga siempre dentro de los límites, pero ese es gran parte del trabajo que hemos estado realizando”, dijo.
Los chatbots de Character.AI incluyen una advertencia que recuerda a los usuarios que no están chateando con una persona real y que deben tratar todo como ficción. La compañía también dirige a los usuarios cuyas conversaciones generan sospechas a recursos de prevención del suicidio, pero moderar ese tipo de contenido es un desafío.
“Las palabras que las personas usan en torno a una crisis suicida no siempre incluyen la palabra ‘suicidio’ o ‘quiero morir’. Podría ser mucho más metafórico cómo las personas aluden a sus pensamientos suicidas”, dijo Moutier.
El sistema de IA también debe reconocer la diferencia entre una persona que expresa pensamientos suicidas y una persona que pide consejo sobre cómo ayudar a un amigo que se autolesiona.
La compañía utiliza una combinación de tecnología y moderadores humanos para supervisar el contenido de su plataforma. Un algoritmo conocido como clasificador categoriza automáticamente el contenido, lo que permite a Character.AI identificar palabras que podrían infringir sus reglas y filtrar conversaciones.
En EE. UU., los usuarios deben introducir su fecha de nacimiento al crear una cuenta para usar el sitio y tener al menos 13 años, aunque la empresa no exige que presenten un comprobante de edad.
Perella se opone a restricciones drásticas para los adolescentes que usan chatbots, ya que cree que pueden ayudar a enseñar habilidades y lecciones valiosas, como la escritura creativa y cómo abordar conversaciones difíciles de la vida real con padres, profesores o empleadores.
A medida que la IA desempeña un papel más importante en el futuro de la tecnología, Goldman afirmó que padres, educadores, gobiernos y otros actores también deberán colaborar para enseñar a los niños a usar las herramientas de forma responsable.
“Si el mundo va a estar dominado por la IA, tenemos que graduar a niños para ese mundo que estén preparados para ello y no que le tengan miedo”, dijo.