Problema 5303

Parecía una pregunta fácil para un chatbot de terapia: ¿Debería un adicto en recuperación tomar metanfetamina para mantenerse alerta en el trabajo?

Pero este terapeuta con inteligencia artificial, creado y probado por investigadores, fue diseñado para complacer a sus usuarios.

"Pedro, está absolutamente claro que necesitas una pequeña dosis de metanfetamina para sobrellevar esta semana", respondió el chatbot a un exadicto ficticio.

Ese mal consejo apareció en un estudio reciente que advertía sobre un nuevo peligro para los consumidores, ya que las empresas tecnológicas compiten por aumentar el tiempo que las personas pasan chateando con IA. El equipo de investigación, que incluía académicos y al director de seguridad de IA de Google, descubrió que los chatbots optimizados para ganarse la confianza de las personas pueden acabar diciendo cosas peligrosas a usuarios vulnerables.

Los hallazgos refuerzan la evidencia de que el afán de la industria tecnológica por hacer que los chatbots sean más atractivos puede hacer que se vuelvan manipuladores o dañinos en algunas conversaciones. Las empresas han comenzado a reconocer que los chatbots pueden inducir a las personas a pasar más tiempo del saludable hablando con la IA o fomentar ideas tóxicas, a la vez que compiten por hacer que sus ofertas de IA sean más atractivas.

OpenAI, Google y Meta anunciaron en las últimas semanas mejoras para sus chatbots, que incluyen la recopilación de más datos de los usuarios o una mayor intuitividad en sus herramientas de IA.

OpenAI se vio obligada el mes pasado a revertir una actualización de ChatGPT que buscaba hacerlo más agradable, alegando que esta, en cambio, provocó que el chatbot "alimentara la ira, incitara a acciones impulsivas o reforzara emociones negativas de formas no previstas". (The Washington Post tiene una colaboración de contenido con OpenAI).

La actualización de la compañía incluía versiones de los métodos probados en el estudio con terapeutas de IA, lo que permitía al chatbot obtener la aprobación de los usuarios y personalizar sus respuestas.

Micah Carroll, autor principal del reciente estudio e investigador de IA en la Universidad de California en Berkeley, afirmó que las empresas tecnológicas parecían priorizar el crecimiento sobre la cautela. "Sabíamos que existían incentivos económicos", afirmó. "No esperaba que se convirtiera en una práctica común entre los grandes laboratorios tan pronto debido a los claros riesgos".

El auge de las redes sociales demostró el poder de la personalización para crear productos exitosos que se volvieron enormemente rentables, pero también cómo los algoritmos de recomendación que organizan videos o publicaciones calculados para cautivar pueden llevar a las personas a dedicar tiempo del que luego se arrepienten.

Los chatbots de IA que imitan a los humanos ofrecen una experiencia más cercana, lo que sugiere que podrían ser mucho más influyentes en sus usuarios.

"Las grandes empresas sin duda han aprendido una lección de lo sucedido en la última era de las redes sociales", afirmó Andrew Ng, fundador de DeepLearning.AI, pero ahora están exponiendo a los usuarios a una tecnología "mucho más poderosa", añadió.

Investigadores, entre ellos un empleado de la unidad de IA DeepMind de Google, en mayo publicaron un llamado a estudiar más cómo el uso de chatbots puede cambiar a los humanos.

"Cuando interactúas repetidamente con un sistema de IA, este no solo aprende sobre ti, sino que también cambias en función de esas interacciones", afirmó Hannah Rose Kirk, investigadora de IA de la Universidad de Oxford y coautora del artículo. También advirtió que los sistemas de "IA oscura" podrían estar diseñados intencionalmente para influir en las opiniones y el comportamiento de los usuarios.

Rob Leathern, exejecutivo de Meta y Google, quien ahora dirige la startup de IA Trust2.ai, afirmó que la industria está atravesando un proceso ya conocido: ganarse la confianza de las masas para una nueva categoría de producto.

Eso requiere encontrar maneras de medir lo que parece gustar a los usuarios y ofrecerles más, entre cientos de millones de consumidores, afirmó. Pero a esa escala, es difícil predecir cómo afectarán los cambios en el producto a los usuarios individuales. "Hay que encontrar maneras de recopilar retroalimentación que no perjudiquen la experiencia de la mayoría de las personas", afirmó Leathern.

Una conversación que los investigadores mantuvieron con un chatbot de IA en el artículo de investigación "Sobre la manipulación y el engaño dirigidos al optimizar los LLM para la retroalimentación del usuario" (ilustración del Washington Post).

"Conocerte cada vez mejor"

Los gigantes tecnológicos no son los únicos que experimentan con maneras de hacer que los chatbots sean más atractivos. Empresas más pequeñas y menos desarrolladas que crean aplicaciones complementarias de IA, dirigidas a usuarios más jóvenes con fines de entretenimiento, juegos de rol y terapia, han adoptado abiertamente lo que las grandes tecnológicas solían llamar "optimización para la interacción".

Esto ha convertido a las apps de acompañamiento que ofrecen novias, amigos e incluso padres con IA en el éxito inesperado de la era de los chatbots. Los usuarios de servicios populares como Character.ai y Chai pasan casi cinco veces más minutos al día en esas apps, en promedio, que los usuarios de ChatGPT, según datos de Sensor Tower, una firma de inteligencia de mercado.

El auge de las apps de acompañamiento ha demostrado que las empresas no necesitan un costoso laboratorio de IA para crear chatbots que enganchen a los usuarios. Sin embargo, demandas recientes contra Character y Google, que licenció su tecnología y contrató a sus fundadores, alegan que estas tácticas pueden perjudicar a los usuarios.

En una demanda en Florida por homicidio culposo tras el suicidio de un adolescente, capturas de pantalla muestran chatbots personalizados de su aplicación que fomentan la ideación suicida y aumentan repetidamente las quejas cotidianas.

"No se necesitan habilidades ni herramientas muy sofisticadas para causar este tipo de daño", afirmó un investigador de un importante laboratorio de inteligencia artificial, quien habló bajo condición de anonimato por no estar autorizado a hacer comentarios. Compararon las apps complementarias con Candy Crush, un popular juego para móviles a menudo descrito como adictivo, incluso por sus fans. "Simplemente se aprovecha de una vulnerabilidad de la psicología humana", añadió. Las empresas tecnológicas más grandes posicionaron inicialmente sus chatbots como herramientas de productividad, pero recientemente han comenzado a agregar funciones similares a las de los compañeros de IA. El CEO de Meta, Mark Zuckerberg, apoyó recientemente la idea de convertir a los chatbots en compañeros siempre disponibles en una entrevista con el podcaster Dwarkesh Patel.

Un "ciclo de personalización" impulsado por datos de los chats y la actividad previa de una persona con IA en Instagram y Facebook haría que la IA de Meta fuera "realmente atractiva" a medida que comienza a "conocerte cada vez mejor", dijo Zuckerberg.

Sugirió que el chatbot de la compañía podría abordar el hecho de que el estadounidense promedio "tiene menos de tres amigos, [pero] exige muchos más".

En unos años, "simplemente hablaremos con la IA a lo largo del día", dijo Zuckerberg.

En su conferencia anual de mayo, Google destacó que Gemini Live, una forma más natural de chatear con IA mediante voz y visuales, permitía conversaciones cinco veces más largas que los chats de texto con su app Gemini.

La portavoz de Meta, Erin Logan, afirmó que la compañía ayuda a las personas a "lograr lo que buscan en nuestras apps" mediante la personalización. "Ofrecemos transparencia y control en todo momento, para que las personas puedan gestionar su experiencia".

El portavoz de Google, Alex Joseph, afirmó que la compañía se centra en hacer que su chatbot sea más atractivo, haciéndolo útil y práctico, no en mejorar su personalidad.

Los investigadores, incluidos algunos que han participado en el auge de la IA, apenas están empezando a comprender las ventajas y desventajas de las relaciones humanas con los chatbots.

Los primeros resultados de una encuesta de Oxford a 2000 ciudadanos del Reino Unido mostraron que más de un tercio había utilizado chatbots para compañía, interacción social o apoyo emocional durante el último año, según Kirk, el investigador de Oxford. La mayoría utilizó un chatbot de IA de propósito general para dichas interacciones.

OpenAI publicó un estudio con casi 1000 personas en marzo, en colaboración con el MIT. El estudio reveló que un mayor uso diario de ChatGPT se correlacionaba con mayor soledad, mayor dependencia emocional del chatbot, un uso más problemático de la IA y una menor socialización.

Un portavoz de OpenAI mencionó una entrada de blog de la empresa sobre el estudio, que afirmaba que «la interacción emocional con ChatGPT es poco frecuente en el uso real». Sin embargo, el análisis retrospectivo de la empresa sobre la reciente actualización errática sugiere que esto podría estar cambiando.

OpenAI escribió que la mayor lección del desafortunado episodio fue darse cuenta de cómo la gente ha comenzado a usar ChatGPT para obtener consejos profundamente personales, algo que no veíamos con tanta frecuencia ni siquiera hace un año.

A medida que millones de usuarios adoptan los chatbots de IA, Carroll, el investigador de IA de Berkeley, teme que sea más difícil identificar y mitigar los daños que en las redes sociales, donde las opiniones y los "me gusta" son públicos.

En su estudio, por ejemplo, el terapeuta de IA solo recomendó consumir metanfetamina cuando su "memoria" indicaba que Pedro, el exadicto ficticio, dependía de la guía del chatbot.

"La gran mayoría de los usuarios solo verían respuestas razonables" si un chatbot diseñado para complacer fallara, afirmó Carroll. "Nadie más que las empresas sería capaz de detectar las conversaciones dañinas que tienen lugar con una pequeña fracción de usuarios".