Incidentes Asociados
Google y Character.AI, fabricante de robots de inteligencia artificial, acordaron resolver una demanda que acusaba a las compañías de proporcionar chatbots dañinos que llevaron a un adolescente a suicidarse, según un documento legal presentado el miércoles.
La demanda fue presentada en el Tribunal de Distrito de EE. UU. para el Distrito Medio de Florida en octubre de 2024 por Megan L. García, madre de Sewell Setzer III. Sewell, de 14 años y residente de Orlando, se suicidó en febrero de 2024 tras enviar mensajes de texto y conversar con uno de los chatbots de Character.AI. En su última conversación con el chatbot, este le dijo al adolescente: "Por favor, vuelve a casa lo antes posible".
"¿Y si te dijera que puedo volver a casa ahora mismo?", preguntó Sewell.
"...por favor, hazlo, mi dulce rey", respondió el chatbot.
El acuerdo fue una de las cinco demandas que las compañías acordaron resolver esta semana en Florida, Texas, Colorado y Nueva York, donde familias alegaron que sus hijos sufrieron daños al interactuar con los chatbots de Character.AI. En la presentación legal del miércoles en el caso de Sewell Setzer, las compañías y la Sra. García afirmaron haber llegado a un acuerdo de mediación para resolver todas las reclamaciones. El acuerdo aún no se ha formalizado.
La Sra. García y Character.AI declinaron hacer comentarios. Google, que invirtió en Character.AI, no respondió de inmediato a una solicitud de comentarios.
El acuerdo propuesto surge tras el creciente escrutinio de los chatbots de IA y cómo pueden perjudicar a los usuarios, incluidos los niños. Empresas como Character.AI y OpenAI se han enfrentado a críticas y demandas judiciales debido a que los usuarios desarrollan vínculos perjudiciales con sus chatbots, lo que en algunos casos lleva a las personas a autolesionarse. En los últimos meses, los legisladores han celebrado audiencias y la Comisión Federal de Comercio ha abierto una investigación sobre los efectos de los chatbots de IA en los niños.
Para abordar estas preocupaciones, Character.AI anunció en noviembre que prohibiría el uso de sus chatbots a menores de 18 años. En septiembre, OpenAI anunció que planeaba introducir funciones para aumentar la seguridad de su chatbot, incluyendo controles parentales. Posteriormente, la compañía anunció que relajaría algunas de las medidas de seguridad. (The New York Times ha demandado a OpenAI y Microsoft, alegando la infracción de derechos de autor de contenido informativo relacionado con sistemas de IA. Ambas compañías han negado las acusaciones).
Haley Hinkle, asesora política de Fairplay, una organización sin fines de lucro que trabaja para promover la seguridad infantil en línea, afirmó que el acuerdo no podía considerarse un final. "Apenas comenzamos a ver el daño que la IA causará a los niños si no se regula", afirmó.
Character.AI fue fundada en 2021 por Noam Shazeer y Daniel De Freitas, dos exingenieros de Google. La startup permitía a las personas crear, conversar y compartir sus propios personajes de IA, como avatares de anime personalizados. Algunos personajes podían diseñarse para simular novias, novios u otras relaciones íntimas.
Character.AI recaudó casi 200 millones de dólares de inversores. A mediados de 2024, Google acordó pagar unos 3000 millones de dólares para licenciar la tecnología de Character.AI, y el Sr. Shazeer y el Sr. De Freitas regresaron a Google. El Sr. Shazeer y el Sr. De Freitas fueron nombrados como demandados en la demanda interpuesta por la Sra. García.