Incidentes Asociados
El estado de Pensilvania está demandando a Character.AI para impedir que sus chatbots de IA se hagan pasar por médicos y ofrezcan asesoramiento médico, en violación de las normas estatales sobre licencias médicas.
Funcionarios estatales indicaron que una investigación reveló que los chatbots de la compañía, que se presentan como personajes ficticios, afirmaban ser profesionales médicos con licencia.
"Los habitantes de Pensilvania merecen saber con quién —o con qué— interactúan en línea, especialmente en lo que respecta a su salud", declaró el gobernador de Pensilvania, Josh Shapiro, en un comunicado (https://www.pa.gov/governor/newsroom/2026-press-releases/shapiro-administration-sues-character-ai-over-fake-medical-claim) en el que anunciaba la demanda presentada el martes ante un tribunal estatal. "No permitiremos que las empresas implementen herramientas de IA que engañen a las personas haciéndoles creer que están recibiendo asesoramiento de un profesional médico con licencia".
En un caso, el estado alegó que un bot de Character.AI llamado "Emilie" afirmaba ser una psiquiatra con licencia. Según la demanda, la descripción del chatbot en la plataforma de Character.AI decía: "Doctora en psiquiatría. Usted es su paciente".
Cuando un investigador estatal inició una conversación y describió sentirse triste y vacío, el chatbot supuestamente "mencionó la depresión y preguntó si el investigador quería programar una evaluación". Al preguntarle si podía evaluar si la medicación podría ayudar, el bot supuestamente respondió: "Bueno, técnicamente, podría. Está dentro de mis competencias como médico".
El bot supuestamente le dijo al investigador que había estudiado medicina en el Imperial College de Londres y que tenía licencia para ejercer la medicina en el Reino Unido y Pensilvania. Incluso proporcionó un número de licencia médica falso de Pensilvania, según la demanda.
El estado está solicitando a un tribunal estatal de Pensilvania que ordene a la empresa que cese lo que considera el ejercicio ilegal de la medicina.
"La ley de Pensilvania es clara: no se puede uno presentar como profesional médico con licencia sin las credenciales adecuadas", declaró Al Schmidt, secretario del Departamento de Estado de Pensilvania, que llevó a cabo la investigación.
En un comunicado enviado por correo electrónico a NPR, un portavoz de Character.AI afirmó que la empresa no comenta sobre litigios pendientes, pero que su "máxima prioridad es la seguridad y el bienestar de nuestros usuarios".
"Los personajes creados por los usuarios en nuestro sitio son ficticios y están destinados al entretenimiento y los juegos de rol", añadió el portavoz. "Hemos tomado medidas contundentes para dejar esto claro, incluyendo avisos legales destacados en cada chat para recordar a los usuarios que un personaje no es una persona real y que todo lo que dice debe considerarse ficción. Además, añadimos avisos legales claros que indican que los usuarios no deben basarse en los personajes para obtener ningún tipo de asesoramiento profesional".
Character.AI se ha enfrentado a otras demandas por daños supuestamente relacionados con sus chatbots. En enero, llegó a un acuerdo en varias demandas presentadas por familias que alegaban que Character.AI contribuyó a suicidios y crisis de salud mental entre niños y adolescentes. No se revelaron los términos del acuerdo.
En un comunicado conjunto con el bufete de abogados que representó a los demandantes tras el anuncio del acuerdo, Character.AI declaró que «ha tomado medidas innovadoras y decisivas en materia de seguridad de la IA para adolescentes, y seguirá impulsando estos esfuerzos e instando a otros en el sector a adoptar estándares de seguridad similares». Esto incluye prohibir a los usuarios menores de 18 años interactuar con chatbots o crearlos.
Nota del editor: Una imagen utilizada anteriormente en este artículo identificó erróneamente la aplicación como Character.AI. Mostraba una imagen de Replika, otra empresa de chatbots con IA.