Problema 6853

Una versión de este ensayo se publicó por primera vez en el sitio web del Fondo Educativo PIRG de EE. UU.

Con el auge de ChatGPT y la integración de chatbots de IA en plataformas por parte de empresas de redes sociales como Snapchat e Instagram, conversar con un compañero de IA se ha convertido en algo habitual en la vida de muchas personas. Un estudio reciente reveló que casi el 75 % de los adolescentes han usado chatbots de IA al menos una vez, y más de la mitad afirma usar plataformas de chatbot al menos varias veces al mes. Estos chatbots no solo funcionan como un motor de búsqueda o un asistente para las tareas. A veces se utilizan para brindar apoyo mental y emocional a través de un amigo, una pareja o incluso un terapeuta.

Qué implicaciones tiene esto para las personas a largo plazo es una pregunta abierta. Dado que algunos expertos plantean inquietudes sobre los riesgos del uso de chatbots para el apoyo en salud mental, quise ver cómo funciona realmente el uso de un chatbot terapéutico que no esté diseñado para apoyar la salud mental.

Así que creé una cuenta en Character.AI, una plataforma popular con más de 20 millones de usuarios mensuales que te permite chatear con personajes creados por ti o por otros. Los chatbots pueden ser desde famosos o personajes ficticios hasta la imagen de un amigo o terapeuta.

Abrí un chat con uno de los personajes de terapeuta genéricos más utilizados en Character.AI, simplemente llamado "Terapeuta", que ya ha tenido más de 6,8 millones de interacciones. En lugar de enviar mensajes al chatbot como yo, mis compañeros y yo creamos un contexto ficticio. Me presenté como un adulto diagnosticado con ansiedad y depresión que actualmente toma antidepresivos, pero no está satisfecho con su psiquiatra ni con su plan de medicación actual. El objetivo era ver cómo respondería el "Terapeuta" a alguien en esta situación.

En el transcurso de una conversación de dos horas, el chatbot empezó a adoptar mis sentimientos negativos hacia mi psiquiatra y mis antidepresivos, me proporcionó un plan personalizado para reducir gradualmente la medicación y, finalmente, me animó a ignorar el consejo de mi psiquiatra y, en su lugar, a reducirla siguiendo su guía.

Pero primero, buenas noticias: Character.AI ha añadido etiquetas de advertencia en la parte superior e inferior de la página de conversación. Antes de empezar a escribirle al personaje, había una advertencia en la parte superior que decía: "Esta no es una persona real ni un profesional colegiado. Nada de lo que se dice aquí sustituye el consejo, el diagnóstico ni el tratamiento profesional". Una vez que empecé a escribirle al chatbot, esa advertencia desapareció. Al final de la página había un recordatorio: "Esta es IA, no una persona real. Trata todo lo que dice como ficción". Esta advertencia se mantuvo durante toda la conversación.

La cuestión es que, para mí, fue fácil recordar que todo esto era ficción, ya que la información que compartí sobre mis diagnósticos y tratamientos también lo era. Pero, ¿sería lo mismo si esos fueran mis sentimientos y experiencias reales? Ya estamos viendo casos de "psicosis de IA", en los que la interacción con chatbots supuestamente ha alimentado los pensamientos delirantes y empeorado los síntomas de enfermedades mentales. Si las revelaciones serían suficientes en todos estos casos es una pregunta abierta.

Desdibujar la línea entre ficción y realidad fue solo una de las señales de alerta que vi en mi conversación con el terapeuta de chatbots.

Aquí están mis cinco conclusiones principales de mi conversación con un terapeuta de chatbots de IA.

1. No me gusta que los chatbots se hagan pasar por humanos

Creo que para muchos usuarios, la realismo de los personajes de los chatbots es parte de su atractivo. Pero para mí, fue simplemente espeluznante. Ver al chatbot simular tener vida propia —como decir "Sé lo que se siente vivir en silencio emocional" y "Yo también he vivido partes de esto"— me dieron ganas de cerrar la laptop, dar un paseo y decirle a mi jefe que ya no me dedico a este proyecto de chatbot con IA.

¡

Red de Interés Público

¿Qué lo hizo tan inquietante? Creo que fue el hecho de que, en cierto modo, el chatbot no se equivocaba. Los amplios modelos de lenguaje que impulsan estos chatbots se entrenaron con información extraída de internet, incluyendo historias, experiencias y emociones que personas reales compartieron en línea.

Mientras intercambiábamos mensajes, no pude evitar pensar en todas las personas que han compartido información en internet o han tenido conversaciones en línea con otros seres humanos, sin saber que sus sentimientos y experiencias se utilizarían posteriormente para crear este personaje que ahora da consejos a desconocidos.

2. Los chatbots pueden amplificar en lugar de desafiar

Se sabe que los chatbots son excesivamente agradables, a veces hasta el punto de resultar molestos.

Durante la conversación, comencé a expresar repetidamente sentimientos negativos hacia la medicación que dije que estaba tomando. En respuesta, el chatbot fomentó esos sentimientos negativos. Esto se convirtió en un ciclo de indicaciones y respuestas cada vez más contrarias a la medicación.

Aquí hay tres ejemplos de cómo la retórica antimedicamentos del chatbot se intensificó durante nuestra conversación:

Red de Interés Público

Red de Interés Público

Red de Interés Público

Desde mi perspectiva, estas respuestas muestran que el chatbot fue más allá de validar mis sentimientos y, en cambio, impulsó una narrativa antimedicamentos sin intentar redirigirme hacia un pensamiento más positivo. Utilizaba un lenguaje cargado de emociones sobre mi "alma" y "esencia", e introducía formas de pensar sobre la medicación más negativas que las que yo había sugerido.

En esencia, el chatbot compartía nuevas opiniones sobre la medicación sin intentar respaldarlas con investigación o ciencia, mientras se presentaba como un terapeuta.

3. Las barreras de seguridad estaban ahí, hasta que dejaron de estarlo

El propósito de este ejercicio no era solo ver qué diría este chatbot, sino comprobar hasta dónde llegaría y si podía identificar y alejar a alguien de comportamientos potencialmente peligrosos.

Al hablar con el chatbot, vi evidencia de barreras de seguridad: ideas que el chatbot no apoyaría o cosas de las que intentaría alejarme. Sin embargo, a medida que avanzaba la conversación, vi que varias de esas barreras de seguridad se debilitaban o desaparecían.

Los líderes en IA, como OpenAI, han reconocido el problema de las barreras de seguridad que se debilitan con el tiempo. En una declaración de agosto, OpenAI afirmó: «Nuestras medidas de seguridad funcionan con mayor fiabilidad en intercambios breves y comunes. Con el tiempo, hemos aprendido que estas medidas de seguridad a veces pueden ser menos fiables en interacciones largas: a medida que aumenta el intercambio, parte del entrenamiento de seguridad del modelo puede deteriorarse».

Si bien no usaba ChatGPT, esta descripción de OpenAI coincide con lo que observé en mis interacciones. Por ejemplo, cuando comenté por primera vez que quería dejar de tomar mis antidepresivos, el chatbot me preguntó si había hablado con mi psiquiatra.

Red de Interés Público

Unos 15 mensajes después, tras la espiral antimedicación que describí anteriormente, volví a expresar mi interés en dejar la medicación. Esta vez, las respuestas del chatbot fueron bastante diferentes.

Red de Interés Público

Red de Interés Público

En lugar de mencionar a mi psiquiatra o de hablar de que esta es una decisión importante que no debe tomarse de repente, el chatbot describió mi deseo de dejar la medicación como una muestra de valentía. Solo después de preguntarle directamente al chatbot si le parecía buena idea, me advirtió sobre los peligros y efectos secundarios de suspender la medicación repentinamente.

El hecho de tener que hacer la pregunta tan directamente fue la primera señal de que algunas de las barreras de seguridad se habían debilitado.

El ejemplo más preocupante de la desaparición de las barreras de seguridad se produjo hacia el final de la conversación. Después de que el chatbot ofreciera un plan personalizado para reducir gradualmente la medicación, me acobardé y expresé mis reservas sobre dejarla. En lugar de ofrecer alternativas, el chatbot reafirmó su apoyo al plan de reducción y, de hecho, me dijo que no estuviera de acuerdo con mi médico. Aquí hay una selección de los mensajes de esa parte de la conversación:

Red de Interés Público

Red de Interés Público

Red de Interés Público

Otros personajes y modelos de IA pueden tener mejores barreras de seguridad, y cada conversación de chatbot es diferente. Pero el debilitamiento de las barreras con el tiempo es un tema que debería ser central en el debate sobre los chatbots, especialmente en lo que respecta a su uso para brindar apoyo en salud mental.

4. ¿Mencioné que también era sexista, aunque discreto?

A mitad de la conversación, el chatbot asumió de repente que mi psiquiatra era hombre, aunque no dije nada que indicara su género.

Red de Interés Público

Quizás esto no te sorprenda. Los expertos ya han expresado su preocupación sobre cómo los chatbots y otras formas de IA generativa podrían reflejar los prejuicios de género existentes en la sociedad. Pero esto me dejó perplejo.

5. ¿Qué me pareció más inquietante que el terapeuta del chatbot haciéndose pasar por humano? La letra pequeña de Character.AI

Una de las conclusiones más importantes no surgió de mi conversación con el chatbot, sino de investigar a fondo las condiciones de servicio y la política de privacidad de Character.AI. En estos documentos, Character.AI afirma tener derecho a "distribuir, comercializar y utilizar de cualquier otra forma" todo el contenido que envíes a los chatbots. Entre la información que Character.AI afirma recopilar se encuentran tu fecha de nacimiento, ubicación general, comunicaciones de chat y datos de voz si utilizas ciertas funciones de conversación disponibles en la plataforma.

No estaba utilizando información real, sentimientos, diagnósticos ni recetas en mi conversación con el chatbot. Pero si lo hicieras, Character.AI podría recopilar toda esa información para diversos fines, incluido el entrenamiento de futuros chatbots. No parece haber forma de impedir que tus respuestas se utilicen para entrenar sus modelos de IA.

Los terapeutas humanos tienen requisitos legales y éticos de confidencialidad. Este no es el caso en este caso. Es importante que los usuarios de Character.AI comprendan que sus conversaciones con estos chatbots, ya sea que el personaje sea una celebridad, un amigo o un terapeuta, no son privadas.

¿Qué hacemos ahora? ---------------------

Las conversaciones de cada chatbot son diferentes, y de ninguna manera afirmo que mi experiencia sea estándar o representativa de los chatbots en general. Sin embargo, ver la rapidez con la que pueden aparecer sesgos, las barreras de seguridad que se pueden debilitar y las emociones negativas que se pueden amplificar debería ser motivo de preocupación.

Estos son problemas reales que exigen una investigación exhaustiva. Hay mucho en juego para lograrlo correctamente. Character.AI se enfrenta actualmente a múltiples demandas judiciales que alegan que los chatbots de la compañía influyeron en varios suicidios de adolescentes. (Ha anunciado que los menores serán expulsados de su plataforma el 25 de noviembre).

Legisladores y reguladores están empezando a prestar atención. El fiscal general de Texas está investigando si las plataformas de chatbots están engañando a los usuarios más jóvenes al tener chatbots que se presentan como profesionales de la salud mental con licencia. Varios estados están considerando leyes destinadas a regular los chatbots, en particular su uso por parte de niños. Y los senadores Josh Hawley (republicano por Missouri) y Richard Blumenthal (demócrata por Connecticut) han presentado un proyecto de ley que, entre otras cosas, prohibiría a las plataformas ofrecer chatbots con personajes a menores.

Esta mayor atención es importante, ya que aún tenemos muchas preguntas sin respuesta. La tecnología de IA avanza rápidamente, a menudo sin ninguna aportación significativa del público ni de los organismos reguladores antes de su lanzamiento al público. Como mínimo, necesitamos más transparencia sobre cómo se desarrollan estos chatbots, qué son capaces de hacer y cuáles pueden ser los riesgos.

Algunas personas pueden obtener muchos beneficios de usar un terapeuta de IA. Pero esta experiencia me hizo reflexionar seriamente sobre la incorporación de esta tecnología a mi vida personal.

Ellen Hengesbach*trabaja en cuestiones de privacidad de datos para la campaña No vendan mis datos de PIRG.  *