Incidentes Asociados
Fable, una popular aplicación para hablar sobre libros y hacer un seguimiento de ellos, está cambiando la forma en que crea resúmenes personalizados para sus usuarios después de las quejas de que un modelo de inteligencia artificial utilizó un lenguaje ofensivo.
Un resumen sugería que un lector de narrativas negras también debería leer a autores blancos.
En una publicación de Instagram esta semana, Chris Gallello, el jefe de producto de Fable, abordó el problema de los resúmenes generados por IA en la aplicación, diciendo que Fable comenzó a recibir quejas sobre "lenguaje racista muy intolerante, y eso nos sorprendió".
No dio ejemplos, pero aparentemente se refería al menos al resumen de un lector de Fable publicado como captura de pantalla en Threads, que resumía las elecciones de libros que había hecho la lectora, Tiana Trammell, y decía: "Tu viaje se adentra profundamente en el corazón de las narrativas negras y los cuentos transformadores, dejando a las historias convencionales sin aliento. No olvides salir a la superficie para el autor blanco ocasional, ¿de acuerdo?".
Fable respondió en un comentario debajo de la publicación, diciendo que un equipo trabajaría para resolver el problema. En su declaración más larga en Instagram, el Sr. Gallello dijo que la compañía introduciría salvaguardas. Estas incluían revelaciones de que los resúmenes eran generados por inteligencia artificial, la capacidad de optar por no participar y un botón de pulgar hacia abajo que alertaría a la aplicación de un problema potencial.
La Sra. Trammell, que vive en Detroit, descargó Fable en octubre para realizar un seguimiento de su lectura. Alrededor de Navidad, había leído libros que provocaron resúmenes relacionados con la festividad. Pero justo antes del nuevo año, terminó tres libros de autores negros.
El 29 de diciembre, cuando Trammell vio su resumen de Fable, se quedó atónita. "Pensé: 'Esto no puede ser lo que estoy viendo. Claramente me estoy perdiendo algo'", dijo en una entrevista el viernes. Compartió el resumen con otros miembros del club de lectura y en Fable, donde otros compartieron resúmenes ofensivos que ellos también habían recibido o visto.
A una persona que leía libros sobre personas con discapacidades le dijeron que sus elecciones "podrían hacer que un perezoso pusiera los ojos en blanco". Otro dijo que los libros de un lector "me hacían preguntarme si alguna vez estás de humor para la perspectiva de un hombre blanco cisgénero heterosexual".
Gallello dijo que el modelo de IA tenía la intención de crear una "oración o dos divertidas" tomadas de las descripciones de los libros, pero algunos de los resultados eran "perturbadores" en lo que se pretendía que fuera un "espacio seguro" para los lectores. Los filtros para lenguaje y temas ofensivos no lograron detener el contenido ofensivo, agregó.
La directora de la comunidad de Fable, Kim Marsh Allee, dijo en un correo electrónico el viernes que dos usuarios recibieron resúmenes "que son completamente inaceptables para nosotros como empresa y no reflejan nuestros valores".
Dijo que se estaban eliminando todas las funciones que utilizan IA, incluidos los resúmenes y los resúmenes de lectura de fin de año, y que se estaba enviando una nueva versión de la aplicación a la tienda de aplicaciones.
El uso de IA se ha convertido en una voz independiente y que ahorra tiempo, pero potencialmente problemática, en muchas comunidades, incluidas las congregaciones religiosas y las organizaciones de noticias. Con la entrada de la IA en el mundo de los libros (https://www.nytimes.com/2024/10/09/books/authors-guild-created-by-humans-artificial-intelligence.html?searchResultPosition=9), la acción de Fable destaca la capacidad, o el fracaso, de la tecnología para navegar por las interpretaciones sutiles de los acontecimientos y el lenguaje que son necesarias para el comportamiento ético.
También pregunta hasta qué punto los empleados deberían comprobar el trabajo de los modelos de IA antes de dar rienda suelta al contenido. Algunas bibliotecas públicas utilizan aplicaciones para crear clubes de lectura en línea. En California, las bibliotecas públicas del condado de San Mateo ofrecieron acceso premium a la aplicación Fable (https://smcl.org/blogs/post/join-us-on-fable-a-book-club-app-for-social-reading/#:~:text=Clubs%20are%20free%20to%20join,available%20through%20a%20paid%20subscription.) a través de sus tarjetas de biblioteca.
Las aplicaciones, incluidas Fable, Goodreads y The StoryGraph, se han convertido en foros populares para los clubes de lectura en línea y para compartir recomendaciones, listas de lectura y preferencias de género.
Algunos lectores respondieron en línea a Fable, diciendo que estaban cambiando a otras aplicaciones de seguimiento de libros o criticando el uso de cualquier inteligencia artificial en un foro destinado a celebrar y amplificar la creatividad humana a través de la palabra escrita.
"Simplemente contraten redactores profesionales para que escriban un número limitado de resúmenes de personalidad de lectores y luego apruébenlos antes de publicarlos. Dos millones de usuarios no necesitan resúmenes sarcásticos 'personalizados'", dijo un lector en respuesta a la declaración de Fable.
Otro lector que se enteró de la controversia en las redes sociales señaló que el modelo de IA "sabía que debía capitalizar "negro" y no "blanco", pero aún así generaba contenido racista.
Agregó que esto mostraba que algunos creadores de tecnología de IA "carecen de una comprensión más profunda de cómo aplicar estos conceptos para derribar sistemas de opresión y perspectivas discriminatorias".
Gallello dijo que Fable lo lamentaba profundamente. "Esto no es lo que queremos, y demuestra que no hemos hecho lo suficiente", dijo, y agregó que Fable esperaba recuperar la confianza.
Después de recibir el resumen, Trammell eliminó la aplicación.
"Se suponía que no leo fuera de mi propia raza", dijo. "Y la implicación de que debería leer fuera de mi propia raza si esa no fuera mi prerrogativa".