Incidentes Asociados
Fable, una popular aplicación de redes sociales que se describe a sí misma como un paraíso para los “ratones de biblioteca y los que ven libros compulsivamente”, creó una función de resumen de fin de año impulsada por IA que recapitula los libros que los usuarios leyeron en 2024. Se suponía que era lúdica y divertida, pero algunas de las resúmenes adquirieron un tono extrañamente combativo. El resumen del escritor Danny Groves, por ejemplo, le preguntaba si “alguna vez está de humor para la perspectiva de un hombre blanco cisgénero heterosexual” después de etiquetarlo como un “devoto de la diversidad”.
Mientras tanto, el resumen de la influencer de libros Tiana Trammell terminaba con el siguiente consejo: “No te olvides de buscar a algún autor blanco ocasional, ¿de acuerdo?”.
Trammell se quedó estupefacta y pronto se dio cuenta de que no estaba sola después de compartir su experiencia con los resúmenes de Fable en Threads. “Recibí múltiples mensajes”, dice, de personas cuyos resúmenes habían comentado de manera inapropiada sobre “discapacidad y orientación sexual”.
Desde el debut de Spotify Wrapped, las funciones de resumen anual se han vuelto omnipresentes en Internet, brindando a los usuarios un resumen de cuántos libros y artículos de noticias leyeron, las canciones que escucharon y los entrenamientos que completaron. Algunas empresas ahora están utilizando IA para producir o aumentar por completo la forma en que se presentan estas métricas. Spotify, por ejemplo, ahora ofrece un podcast generado por IA donde los robots analizan su historial de escucha y hacen conjeturas sobre su vida en función de sus gustos. Fable se sumó a la tendencia al utilizar la API de OpenAI para generar resúmenes de los hábitos de lectura de sus usuarios durante los últimos 12 meses, pero no esperaba que el modelo de IA generara comentarios que adoptaran el tono de un experto anti-woke.
Más tarde, Fable se disculpó en varios canales de redes sociales, incluidos Threads e Instagram, donde publicó un video de un ejecutivo emitiendo el mea culpa. "Lamentamos profundamente el daño causado por algunos de nuestros resúmenes de lectores esta semana", escribió la empresa en el pie de foto. "Lo haremos mejor".
Kimberly Marsh Allee, directora de la comunidad de Fable, le dijo a WIRED antes de la publicación que la empresa estaba trabajando en una serie de cambios para mejorar sus resúmenes de IA, incluida una opción de exclusión voluntaria para las personas que no los quieren y divulgaciones más claras que indican que están generados por IA. “Por el momento, hemos eliminado la parte del modelo que ridiculiza al lector y, en su lugar, el modelo simplemente resume el gusto del usuario por los libros”, dijo.
Después de la publicación, Marsh Allee dijo que Fable había tomado la decisión de eliminar de inmediato los resúmenes de lectura generados por IA para 2024, así como otras dos funciones que utilizaban IA.
Para algunos usuarios, ajustar la IA no parece una respuesta adecuada. La escritora de fantasía y romance A.R. Kaufer se quedó horrorizada cuando vio capturas de pantalla de algunos de los resúmenes en las redes sociales. “Tienen que decir que están eliminando la IA por completo. Y tienen que emitir una declaración, no solo sobre la IA, sino con una disculpa a los afectados”, dice Kaufer. “Esta 'disculpa' en Threads parece poco sincera, ya que menciona que la aplicación es 'divertida' como si de alguna manera excusara las citas racistas/sexistas/capacitistas”. En respuesta al incidente, Kaufer decidió eliminar su cuenta de Fable.
También lo hizo Trammell. “La medida adecuada sería desactivar la función y realizar pruebas internas rigurosas, incorporando las salvaguardas recién implementadas para garantizar, en la medida de lo posible, que ningún otro usuario de la plataforma esté expuesto a daños”, afirma.
Groves coincide. “Si los resúmenes de lectores individualizados no son sostenibles porque el equipo es pequeño, prefiero estar sin ellos que enfrentarme a resultados de IA sin control que podrían ofender con un lenguaje grosero o insultos”, dice. “Esa es mi opinión... suponiendo que Fable esté de humor para la perspectiva de un hombre negro gay y cis”.
Las herramientas de IA generativa ya tienen un largo historial de fallos relacionados con la raza. En 2022, los investigadores descubrieron que el generador de imágenes Dall-E de OpenAI tenía la mala costumbre de mostrar personas no blancas cuando se le pedía que representara a “prisioneros” y a todas las personas blancas cuando mostraba “directores ejecutivos”. El otoño pasado, WIRED informó que una variedad de motores de búsqueda de IA surgieron desacreditadas y racistas teorías sobre cómo los blancos son genéticamente superiores a otras razas.
La corrección excesiva también se ha convertido en un problema a veces: el Gemini de Google fue rotundamente criticado el año pasado cuando representó repetidamente a los nazis de la Segunda Guerra Mundial como personas de color en un intento equivocado de lograr la inclusión. "Cuando vi la confirmación de que era una IA generativa la que hacía esos resúmenes, no me sorprendió", dice Groves. "Estos algoritmos están construidos por programadores que viven en una sociedad con prejuicios, por lo que, por supuesto, el aprendizaje automático también tendrá prejuicios, ya sean conscientes o inconscientes".
Actualizado el 3/1/25 a las 5:44 p. m., hora del Este: esta historia se actualizó para señalar que Fable decidió deshabilitar inmediatamente varias funciones impulsadas por IA.