Incidentes Asociados
Una organización sin fines de lucro de salud mental está bajo fuego por usar un chatbot de IA como un "experimento" para brindar apoyo a las personas que buscan asesoramiento y por experimentar con la tecnología en personas reales.
“Brindamos apoyo de salud mental a unas 4000 personas, usando GPT-3. Esto es lo que sucedió”, Rob Morris, cofundador de la organización sin fines de lucro de salud mental Koko, tuiteó el viernes. “Mensajes compuestos por IA (y supervisados por humanos) fueron calificados significativamente más altos que los escritos por humanos solos (p < .001). Los tiempos de respuesta se redujeron en un 50 %, a menos de un minuto... [pero] una vez que las personas supieron que los mensajes fueron cocreados por una máquina, no funcionó. La empatía simulada se siente rara, vacía”. Morris, quien fue científico de datos de Airbnb, señaló que la IA se había utilizado en más de 30,000 mensajes.
En su video de demostración que [él publicó en un Tweet de seguimiento] (https://twitter.com/RobertRMorris/status/1611450205206888451?s=20), Morris se muestra interactuando con el bot Koko en Discord, donde le pregunta a GPT -3 para responder a una publicación negativa que alguien escribió sobre sí mismo pasando por un momento difícil. "Hacemos que sea muy fácil ayudar a otras personas y con GPT-3 estamos haciendo que sea aún más fácil ser más eficiente y eficaz como proveedor de ayuda... Es una publicación muy breve y, sin embargo, la IA por sí sola en un en cuestión de segundos escribió una respuesta realmente agradable y articulada aquí”, dijo Morris en el video.
En el mismo hilo de Tweet, Morris dijo que los mensajes compuestos por IA tenían una calificación significativamente más alta que los escritos por humanos, y que las tasas de respuesta se redujeron en un 50 por ciento con la ayuda de IA. Sin embargo, dijo, cuando las personas se enteraron de que los mensajes estaban escritos con una IA, se sintieron perturbados por la "empatía simulada".
Koko usa Discord para brindar apoyo entre pares a las personas que experimentan crisis de salud mental y a quienes buscan asesoramiento. Todo el proceso está guiado por un chatbot y es bastante torpe. En una prueba realizada por Motherboard, un chatbot le pregunta si está buscando ayuda con "Citas, amistades, trabajo, escuela, familia, trastornos alimentarios, LGBTQ+, discriminación u otro", le pide que escriba cuál es su problema, etiquete su "pensamiento más negativo" sobre el problema y luego envíe esa información a otra persona en la plataforma Koko.
Mientras tanto, se le solicita que brinde ayuda a otras personas que atraviesan una crisis; En nuestra prueba, se nos pidió que eligiéramos entre cuatro respuestas a una persona que dijo que tenía problemas para amarse a sí misma: "NO eres un perdedor; he estado allí; Lamento escuchar esto :(; Otro", y para personalice el mensaje con algunas oraciones adicionales.
En Discord, Koko promete que "te conecta con personas reales que realmente te entienden. No terapeutas, no consejeros, solo personas como tú".
Los éticos, expertos y usuarios de IA parecían alarmados por el experimento de Morris.
“Si bien es difícil juzgar los méritos de un experimento en función de un hilo de tweet, hubo algunas señales de alerta que me llamaron la atención: liderar con un gran número sin contexto por adelantado, ejecutar el 'experimento' a través de una aplicación de apoyo entre pares con ninguna mención de un proceso de consentimiento o revisión ética, e insinuar que a las personas que no les gustaba un chatbot en su atención de salud mental era algo nuevo y sorprendente”, [Elizabeth Marquis] (https://twitter.com/lizbmarquis), investigadora sénior de UX en MathWorks y un candidato a doctorado y la Universidad de Michigan le dijo a Motherboard.
Emily M. Bender, profesora de lingüística en la Universidad de Washington, le dijo a Motherboard que confiar en la IA para tratar a los pacientes de salud mental tiene un gran potencial de daño. “Los modelos de lenguaje grande son programas para generar texto con un sonido plausible dados sus datos de entrenamiento y un indicador de entrada. No tienen empatía, ni comprensión del lenguaje que producen, ni comprensión de la situación en la que se encuentran. Pero el texto que producen suena plausible y, por lo tanto, es probable que las personas le asignen significado. Lanzar algo así en situaciones delicadas es correr riesgos desconocidos. Una pregunta clave que debe hacerse es: ¿Quién es responsable si la IA hace sugerencias dañinas? En este contexto, ¿la empresa que implementa el experimento está imponiendo toda la responsabilidad a los miembros de la comunidad que eligen el sistema de IA?
Después de la reacción inicial, Morris publicó actualizaciones en Twitter y le dijo a Motherboard: “De hecho, se les dijo a los usuarios que los mensajes fueron coescritos por humanos y máquinas desde el principio. El mensaje que recibieron decía 'escrito en colaboración con kokobot', que podían decidir leer o no. Los usuarios de Koko se comunican con nuestro bot todo el tiempo y se les presentó este concepto durante la incorporación”.
"Parece que la gente malinterpretó esta línea: 'cuando se dieron cuenta de que los mensajes eran un bot...'", dijo Morris. “Esto no se dijo claramente. De hecho, se les dijo a los usuarios que los mensajes fueron coescritos por humanos y máquinas desde el principio. El mensaje que recibieron decía 'escrito en colaboración con kokobot', que podían decidir leer o no. Los usuarios de Koko se comunican con nuestro bot todo el tiempo y se les presentó este concepto durante la incorporación”.
“Calificaron estos mensajes (IA/humanos) más favorablemente que los escritos solo por humanos. Sin embargo, y aquí está el matiz: a medida que comienza a captar el sabor de estos mensajes con el tiempo (al menos para mí), puede comenzar a ver cuáles fueron en gran parte sin editar por parte del proveedor de ayuda. Empiezas a ver cuáles parecen ser solo del bot, sin filtrar. Eso cambia la dinámica en mi opinión”, agregó.
Morris también le dijo a Motherboard y tuiteó que este experimento está exento de consentimiento informado, lo que requeriría que la compañía proporcione a cada participante un documento escrito sobre los posibles riesgos y beneficios del experimento, para decidir si quieren participar. Afirmó que Koko no usó ninguna información personal y no tiene planes de publicar el estudio públicamente, lo que eximiría al experimento de necesitar un consentimiento informado. Esto sugiere que el experimento no recibió ningún proceso de aprobación formal y no fue supervisado por una Junta de Revisión Institucional (IRB), que es lo que se requiere para todos los experimentos de investigación que involucran sujetos humanos y acceso a información privada identificable.
“Cada persona debe dar su consentimiento al usar el servicio. Si se tratara de un estudio universitario (que no lo es), esto entraría en una categoría de investigación ‘exenta’”, dijo. "Esto no impuso ningún riesgo adicional para los usuarios, ni engaño, y no recopilamos ninguna información de identificación personal o información de salud protegida (ni correo electrónico, número de teléfono, IP, nombre de usuario, etc.). De hecho, investigaciones previas que hemos realizado, en este sentido, pero con mayor complejidad, estaba exenta".
“Este experimento destaca una serie de problemas éticos superpuestos. El estudio no parece haber sido revisado por una Junta de Revisión Institucional, y el engaño de personas potencialmente vulnerables siempre debería generar señales de alerta en la investigación”, Luke Stark, Asistente Profesor de la Facultad de Estudios de Información y Medios (FIMS) de la Universidad Western en London, Ontario, le dijo a Motherboard. “El hecho de que el sistema sea bueno para formular respuestas de rutina sobre preguntas de salud mental no es sorprendente cuando nos damos cuenta de que se basa en muchas de esas respuestas formuladas en el pasado por terapeutas y consejeros y que están disponibles en la web. No es ético engañar a los participantes de la investigación sin una buena razón, ya sea utilizando indicaciones proporcionadas por un modelo de lenguaje natural o no”.
“Cualquier cosa anunciada como apoyo a la salud mental es claramente un contexto sensible y no solo para experimentar sin una revisión ética cuidadosa, consentimiento informado, etc.”, dijo Bender a Motherboard. “Si se van a realizar [experimentos], debe haber una pregunta de investigación clara que se esté explorando y una revisión ética del estudio antes de que se inicie, de acuerdo con los principios bien establecidos para la protección de los sujetos humanos. Estos procesos de revisión equilibran los beneficios para la sociedad con el potencial de daño para los sujetos de investigación”.
Tanto Bender como Marquis están totalmente de acuerdo en que si la IA se usara con fines psicológicos, las comunidades afectadas, las personas con experiencias de salud mental vividas, los defensores de la comunidad y los expertos en salud mental deben ser partes interesadas clave en el proceso de desarrollo, en lugar de solo usuarios anónimos o sujetos de datos.
Para Morris, el objetivo principal de Koko es crear servicios de salud mental más accesibles y asequibles para las personas desatendidas. "Retiramos la función de todos modos y quería desentrañar la preocupación como una pieza de pensamiento, para ayudar a reinar en el entusiasmo sobre los terapeutas de reemplazo de gpt3", dijo a Motherboard.
“Creo que todos quieren ayudar. Parece que las personas han identificado la insuficiencia de recursos de atención de la salud mental como un problema, pero en lugar de trabajar para aumentar los recursos (más fondos para capacitar y contratar trabajadores de la salud mental), los tecnólogos quieren encontrar un atajo. Y debido a que GPT-3 y sus similares pueden generar texto que suene plausible sobre cualquier tema, pueden parecer una solución”, dijo Bender.
“Desde la necesidad real de recursos de salud mental más accesibles hasta que la IA sea una forma relativamente barata y escalable de ganar dinero en la aplicación correcta, hay una gran cantidad de razones por las que los investigadores y profesionales de la IA podrían querer emplear la IA con fines psicológicos”, Marquis dicho. “Los programas de informática apenas comienzan a enseñar ética y la IA centrada en el ser humano es un campo de estudio relativamente nuevo, por lo que es posible que algunos no vean las advertencias hasta que sea demasiado tarde. Quizás lo menos caritativo sea que puede ser conveniente ignorar las advertencias sobre no personificar la IA cuando se está en un campo que valora la eficiencia y el avance por encima de todo”.