Incidentes Asociados
Hola, feliz año nuevo y siéntate. ¡Puede que haya más líos con la IA en marcha! Ya hemos estado hablando de la proliferación de narradores y autores de IA. ¿Por qué no empezar el año con una nueva basura generativa de IA, esta vez con un acompañamiento de Holy Shit Racism?
Hace dos días, Tiana’s LitTalk on Threads publicó una captura de pantalla de su resumen de lectura de Fable, una aplicación de redes sociales para lectores. Si no estás familiarizado, los usuarios de Fable pueden organizar y/o unirse a clubes de lectura para cada posible versión de libro o género, y también tienen una tienda.
Y como Fable también permite a los usuarios realizar un seguimiento de las estadísticas de lectura, como todas las aplicaciones y servicios, muestran las estadísticas acumuladas de los usuarios en 2024.
Vale, agárrate a la mandíbula, porque se te va a caer.
Este fue el resumen de Tianas_Littalk.
En caso de que no puedas leer el texto del resumen:
Explorador del alma: tu viaje se adentra en el corazón de las narrativas negras y los cuentos transformadores, dejando a las historias convencionales sin aliento. No te olvides de salir a la superficie para el autor blanco ocasional, ¿de acuerdo?
Guau.
GUAU.
¿Tu mandíbula está bien?
Entonces, lo más importante, el 31 de diciembre, Fable respondió a la publicación original, diciendo:
“Gracias por compartir, estoy de acuerdo en que esto no está bien. Se lo estoy pasando al equipo para que lo resuelva”.
Hoy, 1 de enero, hicieron un seguimiento:
Solo quería hacer un seguimiento de esto: nuestro equipo está trabajando para asegurarse de que esto nunca vuelva a suceder. Esto nunca debería haber sucedido. Nuestros resúmenes de lectores tienen como objetivo capturar su historial de lectura y burlarse de sus gustos, pero nunca, nunca, deben incluir referencias a la raza, la sexualidad, la religión, la nacionalidad u otras clases protegidas. Nos tomamos esto muy en serio, nos disculpamos profundamente y agradecemos que nos haga responsables. Prometemos hacerlo mejor. ❤️
Admito que me impresionó que respondieran el día de Año Nuevo, pero claramente están prestando atención a los comentarios de los lectores, y leen las respuestas y los hilos etiquetados.
TENGO PREGUNTAS.
Primero: es probable que esto sea IA.
Las dos pequeñas estrellas junto a la palabra "Resumen del lector" parecen indicar que lo es, y el lenguaje de la respuesta de Fable, que los resúmenes de los lectores "nunca, nunca, nunca deben incluir referencias", también sugiere que una persona o personas no son directamente responsables de esta elección.
Y permítanme detenerme aquí porque si esto FUE escrito por una persona, Fable tiene un problema aún mayor.
Pero supongamos que esto es IA por el bien de esta discusión.
Eso significa que han elegido usar IA generativa para crear resúmenes basados, supongo, en datos de usuarios y mensajes específicos. Pero, ¿los resúmenes fueron revisados o corregidos por un humano?
Me sorprende un poco que uno de los principales elementos de contacto con las personas que usan frecuentemente el servicio de Fable esté en manos de la IA. ¡Dios mío!
Tiana’s_LitTalk mencionó que estaban en Storygraph e invitó a las personas a conectarse allí, indicando que podrían haber cambiado de plataforma. Algunas respuestas indicaron que no usarían Fable en el futuro. Eso no es… óptimo.
Habiendo hecho algo, sé que el trabajo de cara al cliente puede ser HORRIBLE. Puedo entender que una empresa quiera colocar una IA entre sus empleados que brindan servicio al cliente y el comportamiento a menudo abusivo de los clientes descontentos. Pero este resumen para lectores es para los miembros que ya están a bordo y han usado el servicio lo suficiente como para haber acumulado estadísticas.
¿Por qué utilizar una IA generativa, que ya se ha demostrado en repetidas ocasiones que es racista, sexista, incorrecta y peligrosa, PARA FURIAR A LA PROPIA COMUNIDAD?
En los comentarios del hilo, la gente ya ha preguntado qué indicaciones se utilizaron, lo que es una pregunta sólida.
Mientras discutíamos esto internamente, Amanda dijo:
“Me pregunto si está programado para sugerir lo “opuesto” de algo si alguien está leyendo mucho de una cosa, sin conocer los problemas culturales y contextuales”.
Podría ser, pero sigue siendo muy desagradable, ofensivo y espantoso, independientemente de la fuente.
Para mí, este es otro recordatorio de que, dondequiera que vaya en línea, me encuentro con IA. Tengo que agregar “-ai” a mis búsquedas de Google para no obtener un resumen generado por IA. Tengo que maniobrar a través de las indicaciones del servicio de IA cuando necesito ayuda con algo. Recibo una actualización de una aplicación o un servicio y, de repente, aparece una IA con un nombre cursi que me pide hablar conmigo.
Ya hicimos esto con Clippy. No necesitamos hacerlo de nuevo.
Y Storygraph, vinculado anteriormente, usa IA para generar vistas previas de libros listados que resumen el libro y sus reseñas y ofrecen recomendaciones. Hace un tiempo, vi a algunas personas hablando sobre esta actualización y StoryGraph respondió en Xitter en diciembre de 2023:
¡Hola!
Con respecto a nuestra nueva función de IA, que muestra una breve descripción del tipo de lector para el que un libro es adecuado:
Estamos usando una solución interna. No usamos ninguna API externa, todo el procesamiento se realiza localmente y los datos de los usuarios nunca salen de los servidores de The StoryGraph.
La seguridad no es el único problema que tienen las personas con la IA, pero es uno de ellos, junto con la recopilación de sus reseñas y comentarios para la base de conocimiento de IA y posiblemente su venta a otros proveedores. Por eso, me tranquiliza un poco la afirmación de que esto es solo interno.
Personalmente, prefiero StoryGraph por su usabilidad que Goodreads, que me resulta menos atractivo para mirar y navegar cuando busco información sobre libros. Sin embargo, no ingreso mis datos de lectura ni texto de reseñas en ninguno de los dos lugares.
De cualquier manera, la proliferación de la IA está en todas partes y es agotador tratar de mantenerse alejado de ella. No estoy en contra de los avances tecnológicos, ni mucho menos. Pero ha habido suficientes ejemplos de IA terribles y peligrosas, y suficientes ejemplos de cómo la IA fue entrenada con obras robadas o vendida para tal uso por un editor sin el consentimiento del autor, como para que me preocupe cada vez que la veo y trate de no usarla. No lo encuentro útil para los resultados de búsqueda y no lo necesito para escribir por mí.
Pero esa es solo mi experiencia y no quiero decidir por otras personas qué herramientas tecnológicas les resultan útiles. Una nota al margen: me seguía apareciendo un mensaje que decía "polaco" cuando terminaba de escribir un mensaje en Gmail. Pasé un tiempo buscando la configuración de idioma que debo haber cambiado sin darme cuenta y que me pedía que tradujera mi correo electrónico al polaco. No, es IA y quiere pulir mi correo electrónico. ¡No, gracias! Pero como dije: si bien no quiero polaco ni polaco, también puedo entender que la gente pida ayuda para escribir un correo electrónico cuando es abrumador.
Además, si la IA no fuera tan increíble y completamente terrible para el medio ambiente, no me sentiría tan resentido por tenerla disponible en todos los lugares a los que voy y en todos los servicios que uso.
Este ejemplo, sin embargo, es harina de otro costal de la IA. (Nota: no le pidas a la IA generativa imágenes de harina de otro costal. Mala idea, vaqueros). Espero que Fable pueda corregir sus consultas para que esto no le pase a otro lector, y todavía cuestiono las ventajas de este uso cuando existe un potencial real de que el texto salga tan horrible y ofensivamente mal.
ETA: 2 de enero, 8:30 AMET
Fable, para su crédito, ha estado respondiendo activamente en los hilos, y ha compartido más información sobre la generación de resúmenes:
Entendemos y ciertamente reconocemos la magnitud. Nuestros resúmenes son generados por un modelo de IA que nos permite crear una experiencia de estadísticas personalizada para ~2 millones de usuarios que actualizan el progreso hacia sus objetivos de lectura todos los días. Nos tomamos muy en serio la responsabilidad de trabajar con IA y estamos constantemente afinando en función de los comentarios, en particular cuando nos enteramos de generaciones problemáticas, como esta. Estamos agregando nuevas barreras para asegurarnos de que nadie más tenga esta experiencia.
Pero, por desgracia, Tiana no parece ser la única persona que ha recibido un resumen de lectura que comenta sobre la identidad racial. Amanda Rae en Bluesky compartió otra captura de pantalla de otro usuario:
Devoto de la diversidad: ¡Tu estantería es un caleidoscopio vibrante de voces y experiencias que me hacen preguntarme si alguna vez estás de humor para la perspectiva de un hombre blanco cis heterosexual!
Actualización: Gracias a la autora Jo Conklin por avisarme sobre la fuente. Esta captura de pantalla es del autor Danny B. Groves.
Esta parece ser más claramente sarcástica, pero nuevamente, este camino conduce a ¡AY, AY, AY, AY!
Además: No. Nunca estoy de humor para la perspectiva de un hombre blanco cis heterosexual, gracias.