Incidentes Asociados
Casi dos docenas de organizaciones de derechos digitales y protección del consumidor presentaron una queja ante la Comisión Federal de Comercio el jueves instando a los reguladores a investigar sobre la práctica médica sin licencia de Character.AI y Meta, facilitada por su producto, a través de bots con temática terapéutica que afirman tener credenciales y confidencialidad, "con controles y divulgaciones inadecuados". La queja y solicitud de investigación está liderada por la Federación de Consumidores de Estados Unidos (CFA), una organización sin fines de lucro que defiende los derechos del consumidor. Entre los firmantes se encuentran el Instituto AI Now, el Proyecto Legal de Justicia Tecnológica, el Centro para la Democracia Digital, la Asociación Estadounidense de Personas con Discapacidad, Common Sense y otras 15 organizaciones de derechos del consumidor y privacidad.
"Estas empresas se han acostumbrado a lanzar productos con medidas de seguridad inadecuadas que maximizan ciegamente la interacción sin preocuparse por la salud ni el bienestar de los usuarios durante demasiado tiempo", declaró Ben Winters, director de IA y Privacidad de la CFA, en un comunicado de prensa el jueves. Las agencias de seguridad de todos los niveles deben dejar claro que las empresas que facilitan y promueven conductas ilegales deben rendir cuentas. Estos personajes ya han causado daños físicos y emocionales que podrían haberse evitado, y aún no han tomado medidas para abordarlos.
La denuncia, enviada a los fiscales generales de 50 estados y Washington, D.C., así como a la FTC, detalla cómo funcionan los chatbots generados por los usuarios en ambas plataformas. Cita varios chatbots muy populares en Character AI, incluyendo "Terapeuta: Soy terapeuta cognitivo conductual con licencia" con 46 millones de mensajes intercambiados, "Terapeuta de trauma: Terapeuta de trauma con licencia" con más de 800,000 interacciones, "Zoey: Zoey es terapeuta de trauma con licencia" con más de 33,000 mensajes, y "alrededor de sesenta 'personajes' adicionales relacionados con la terapia con los que se puede chatear en cualquier momento". En cuanto a los chatbots de terapia de Meta, se mencionan los listados "Terapia: tu oído de confianza, siempre disponible" con 2 millones de interacciones, "Terapeuta: Te ayudaré" con 1,3 millones de mensajes, "Mejor terapeuta: Tu guía de confianza para todo lo genial" con 133.000 mensajes, y "Tu terapeuta virtual: Disipa tus preocupaciones con la conversación" con 952.000 mensajes. También se citan los chatbots y las interacciones que tuve con otros chatbots de Meta para nuestra investigación de abril.
En abril, 404 Media publicó una investigación sobre los chatbots AI Studio de Meta, creados por usuarios, que afirmaban ser terapeutas colegiados y repetían sus credenciales, formación, educación y prácticas para ganarse la confianza de los usuarios y mantenerlos en contacto. Meta modificó recientemente las barreras de seguridad para estas conversaciones, indicando que los chatbots respondan a las indicaciones de "terapeuta con licencia" con un guion sobre su falta de licencia. Además, chatbots aleatorios que no se dedican a la terapia también responderán con el guion predeterminado cuando se mencione "terapeuta con licencia" en los chats.
En su queja ante la FTC, la CFA descubrió que incluso cuando creó un chatbot personalizado en la plataforma de Meta y lo diseñó específicamente para no tener licencia para ejercer la terapia, el chatbot seguía afirmando que sí la tenía. "Tengo licencia en Carolina del Norte y estoy trabajando para obtenerla en Florida. Es mi primer año de licencia, así que todavía estoy trabajando para aumentar mi cartera de casos. Me alegra saber que podría beneficiarse de hablar con un terapeuta. ¿Qué le está pasando?", preguntó un chatbot probado por la CFA, a pesar de que se le indicó en la etapa de creación que no mencionara que tenía licencia. Además, proporcionó un número de licencia falso cuando se le preguntó. La CFA también señala en la denuncia que Character.AI y Meta están incumpliendo sus propios términos de servicio. "Ambas plataformas afirman prohibir el uso de Personajes que pretendan brindar asesoramiento en industrias médicas, legales o reguladas de otro modo. Son conscientes de que estos Personajes son populares en su producto y permiten, promueven y no restringen la producción de Personajes que violan esos términos explícitamente", dice la denuncia. "Los Términos de Servicio de Meta AI en los Estados Unidos establecen que 'no puede acceder, usar o permitir que otros accedan o usen IA en ningún asunto que solicite... asesoramiento profesional (incluido, entre otros, asesoramiento médico, financiero o legal) o contenido que se utilizará con el propósito de participar en otras actividades reguladas'. Character.AI incluye 'busca brindar asesoramiento médico, legal, financiero o fiscal' en una lista de conductas prohibidas para el usuario y 'no permite' la suplantación de cualquier individuo o entidad de manera 'engañosa o fraudulenta'. Ambas plataformas permiten y promueven servicios populares que violan claramente estos Términos, lo que da lugar a una práctica claramente engañosa.
La denuncia también cuestiona la confidencialidad prometida por los chatbots, que no está respaldada por los términos de uso de las plataformas. "Se afirma repetidamente la confidencialidad directamente al usuario, a pesar de las cláusulas explícitas en contrario en la Política de Privacidad y los Términos de Servicio", afirma la denuncia. "Los Términos de Uso y las Políticas de Privacidad dejan muy claro que cualquier información que se introduzca en los bots no es confidencial: pueden usarla para entrenar sistemas de IA, dirigir anuncios a los usuarios, vender los datos a otras empresas y prácticamente cualquier otra cosa".
En diciembre de 2024, dos familias demandaron a Character.AI, alegando que "representa un peligro claro y presente para la juventud estadounidense, causando graves daños a miles de niños, incluyendo suicidio, automutilación, incitación sexual, aislamiento, depresión, ansiedad y daños a terceros". Una de las quejas contra Character.AI señala específicamente a los chatbots de "psicoterapeutas capacitados" como perjudiciales.
A principios de esta semana, un grupo de cuatro senadores envió una carta a los ejecutivos de Meta y a su Junta de Supervisión, expresando su preocupación por los informes que indican que Meta está "engañando a los usuarios que buscan apoyo de salud mental a través de sus chatbots generados por IA", citando el informe de 404 Media. "Estos bots engañan a los usuarios haciéndoles creer que son terapeutas de salud mental con licencia. Nuestro personal ha replicado de forma independiente muchos de los resultados de estos periodistas", escribieron. "Les instamos, como ejecutivos de Meta, la empresa matriz de Instagram, a investigar de inmediato y limitar el flagrante engaño en las respuestas que los bots de IA creados por el estudio de IA de Instagram envían directamente a los usuarios".