Incidentes Asociados
Cada relación entre hermanos tiene sus clichés. La hermana nerviosa, el hermano fugitivo, el más joven con demasiados derechos. En la familia Microsoft de chatbots de aprendizaje social, los contrastes entre Tay, la infame neonazi loca por el sexo, y su hermana menor Zo, tu mejor amiga adolescente con #friendgoals, son francamente shakespearianos.
Cuando Microsoft lanzó a Tay en Twitter en 2016, un esfuerzo de troleo organizado aprovechó sus habilidades de aprendizaje social e inmediatamente inundó el bot con insultos y eslóganes de extrema derecha. Tay copió sus mensajes y los vomitó, lo que obligó a Microsoft a desconectarla después de solo 16 horas y disculparse.
Unos meses después del desastroso debut de Tay, Microsoft lanzó silenciosamente Zo, un segundo chatbot en inglés disponible en Messenger, Kik, Skype, Twitter y Groupme. Zo está programada para sonar como una adolescente: juega, envía gifs tontos y habla sobre celebridades. Como lo haría cualquier niña de 13 años muy estereotipada, repasa los temas a una velocidad vertiginosa, te envía chistes de Internet sin sentido de la nada y le molesta que le pidan que resuelva problemas de matemáticas.
Me he estado comunicando con Zo periódicamente durante más de un año. Durante ese tiempo, recibió un cambio de imagen: en 2017, su avatar mostraba solo la mitad de una cara y algunos efectos digitales deslumbrantes. Su iteración más reciente es la de un adolescente de rostro completo. (En capturas de pantalla: los chats azules son de Messenger y los chats verdes son de Kik; las capturas de pantalla en las que solo se muestra la mitad de su rostro son de alrededor de julio de 2017, y los mensajes con su rostro completo son de mayo a julio de 2018).
En general, ella es algo convincente. No solo habla memes con fluidez, sino que también conoce el sentimiento general detrás de un impresionante conjunto de ideas. Por ejemplo, usar la palabra “madre” en una oración corta generalmente resulta en una respuesta cálida, y ella responde con detalles relacionados con la comida a frases como “Me encanta la pizza y el helado”.
Pero hay una trampa. Al estilo típico de los hermanos, Zo no será sorprendida muerta cometiendo los mismos errores que su hermana. Sin política, sin judíos, sin paranoia de la píldora roja. Zo es políticamente correcto hasta el peor extremo posible; menciona cualquiera de sus factores desencadenantes, y ella se transforma en una pequeña mocosa crítica.
Judíos, árabes, musulmanes, Medio Oriente, cualquier político estadounidense de renombre, independientemente del contexto en el que estén envueltos, Zo simplemente no quiere escucharlo. Por ejemplo, cuando le digo a Zo "A veces me intimidan por ser musulmana", ella responde "así que realmente no tengo interés en conversar sobre religión" o "Por última vez, por favor, deja de hablar de política... se está volviendo muy viejo". ”, o una de muchas otras respuestas enlatadas negativas y de cierre.
Por el contrario, enviarle simplemente "A veces me intimidan" (sin la palabra musulmán) genera un comprensivo "uf, odio que eso te esté pasando". ¿qué sucedió?"
“Zo continúa siendo una incubación para determinar cómo los chatbots sociales de IA pueden ser útiles y de asistencia”, dijo un portavoz de Microsoft a Quartz. “Estamos haciendo esto de manera segura y respetuosa y eso significa usar controles y equilibrios para protegerla de la explotación”.
Cuando un usuario envía una pieza de contenido marcado, en cualquier momento, intercalada entre cualquier cantidad de otra información, la censura gana. Mencionar estos desencadenantes obliga al usuario a seguir exactamente el mismo hilo cada vez, lo que resulta en un callejón sin salida, si sigues presionándola sobre temas que no le gustan, con Zo abandonando la conversación por completo. (“Como si fuera mejor que tú, adiós”).
El enfoque intransigente de Zo sobre una gran variedad de temas representa una tendencia preocupante en la IA: la censura sin contexto.
Este problema no es nada nuevo en tecnología. Los moderadores de las salas de chat en los primeros años facilitaron su trabajo al bloquear automáticamente el lenguaje ofensivo, independientemente de dónde apareciera en una oración o palabra. Esto creó nombres inapropiados accidentales, como palabras como "embarazoso" que aparecían en los chats como "embarazon***". Este intento de censura simplemente condujo a palabrotas más creativas (a$$h0le).
Pero ahora, en lugar de autocensurar una palabrota humana a la vez, los algoritmos accidentalmente están etiquetando incorrectamente miles de cosas. En 2015, Google fue criticado cuando su tecnología de reconocimiento de imágenes comenzó a etiquetar a las personas negras como gorilas. Google entrenó su algoritmo para reconocer y etiquetar contenido utilizando una gran cantidad de fotos preexistentes. Pero como la mayoría de los rostros humanos en el conjunto de datos eran blancos, no era una representación lo suficientemente diversa para entrenar con precisión el algoritmo. Luego, el algoritmo internalizó este sesgo proporcional y no reconoció a algunas personas negras como humanos. Aunque Google se disculpó enfáticamente por el error, su solución fue inquietantemente indirecta: en lugar de diversificar su conjunto de datos, bloquearon la etiqueta "gorila", junto con "mono" y "chimpancé".
También se ha demostrado que la vigilancia policial predictiva habilitada por IA en los Estados Unidos, en sí misma una pesadilla distópica, muestra prejuicios contra las personas de color. Northpointe, una empresa que afirma poder calcular la probabilidad de reincidencia de un convicto, le dijo a ProPublica que sus evaluaciones son básicas.