Incidentes Asociados
Tay de Microsoft es un ejemplo de mal diseño
o Por qué es importante el diseño de interacción, y también lo es el control de calidad.
caroline sinders Bloqueado Desbloquear Seguir Siguiendo Mar 24, 2016
Ayer, Microsoft lanzó una IA para niñas adolescentes en Twitter llamada "Tay". Trabajo con bots de chat y procesamiento de lenguaje natural como investigadora para mi trabajo diario y estoy bastante interesada en la cultura adolescente (a veces escribo para Rookie Mag). Pero aún más, me encantan los bots. Los bots son los mejores y Olivia Tators es un tesoro nacional que necesitábamos pero que no merecíamos.
Pero debido a que trabajo con bots, principalmente probando y diseñando software para permitir que las personas configuren bots y analicen el lenguaje, y sigo a creadores/defensores de bots como Allison Parrish, Darius Kazemi y Thrice Dotted, estaba emocionado y luego terriblemente decepcionado con Tay.
Según Business Insider, "el objetivo era "experimentar y realizar investigaciones sobre la comprensión conversacional", con Tay capaz de aprender de "sus" conversaciones y volverse progresivamente 'más inteligente' ". The Telegraph lo resume de la manera más elegante, sin embargo, " Tay también les pide a sus seguidores que la 'follen' y los llama 'papá'. Esto se debe a que sus respuestas se aprenden de las conversaciones que tiene con humanos reales en línea, y a los humanos reales les gusta decir cosas raras en línea y disfrutan secuestrando los intentos corporativos de relaciones públicas…”.
Esto es lo que pasa con el aprendizaje automático y los bots en general, y diablos, incluso con la IA. Ellos, esas capacidades, no son muy inteligentes y deben ser entrenados por un corpus de datos. Cuando esos datos se introducen en una serie de diferentes tipos de algoritmos de aprendizaje automático, vayamos con uno diseñado específicamente para chat, ese algoritmo o configuración de chat debe ser entrenado. El corpus de datos, cuando se trata de robots de chat, puede ser cosas como preguntas y respuestas, con esas preguntas y respuestas directamente asignadas entre sí. "¿Cuál es tu nombre?" se puede preguntar de mil maneras diferentes, pero tiene una o dos respuestas aplicables. La capacitación del sistema para que coincida con esas dos respuestas concretas a una variedad de preguntas se realiza en Preguntas y respuestas, y se refuerza mediante el lanzamiento del sistema, y esas respuestas se asignarán a nuevos tipos de preguntas que son similares a las preguntas para las que ha sido capacitado para responder. Y eso es lo que Microsoft parecía estar haciendo. Tenían un conjunto general de árboles de conocimiento que "leen" el lenguaje, como diferentes palabras, y los asignan a respuestas generales. Pero su intención era obtener un montón de ayuda para hacer que Tay sonara más "como Internet".
Sin embargo, Microsoft no incluyó en la "lista negra" ciertas palabras, lo que significa crear muchas más respuestas "codificadas" a ciertas palabras, como violencia doméstica, gamergate o violación.
Sin embargo, lo hicieron con Eric Garner. Entonces, algunas palabras, algunas palabras clave, fueron entrenadas específicamente para respuestas matizadas, pero muchas no.
Pero, ¿qué significa esto cuando se trata de entrenamiento? Entonces, entrenar a un bot se trata de la frecuencia y el tipo de preguntas que se hacen. Si una gran cantidad de preguntas son de naturaleza más racista, está entrenando al bot para que sea más racista, especialmente si no se han establecido parámetros específicos para contrarrestar ese racismo.
A la gente le gusta patear los neumáticos de las máquinas y la IA, y ver dónde está la caída. A la gente le gusta encontrar agujeros y explotarlos, no porque Internet sea increíblemente horrible (aunque a veces parezca un pozo negro); sino porque es la naturaleza humana tratar de ver cuáles son los extremos de un dispositivo. Las personas se topan con las paredes en los videojuegos o encuentran fallas porque es divertido ver dónde se rompen las cosas. Esto es necesario porque los creadores y los ingenieros deben comprender las formas en que los bots pueden actuar para lo que no estaban destinados y dónde pueden fallar los sistemas para crearlos, actualizarlos y mantenerlos.
Pero si su bot es racista y se le puede enseñar a serlo, eso es un defecto de diseño. Eso es un mal diseño, y eso depende de ti. Hacer algo que hable con la gente, y hable con la gente solo en Twitter, que tiene toda una historia de acoso, especialmente contra las mujeres, es un gran descuido por parte de Microsoft. Estos problemas, este racismo accidental, o que se les enseñe a acosar a personas como Zoe Quinn, no son errores; son características porque están en su software de interacción con el usuario y de cara al público.
El lenguaje tiene jodidos matices, al igual que la conversación. Si vamos a hacer cosas que la gente usa, que la gente toca y con las que la gente realmente habla, entonces debemos, como creadores de bots y entusiastas de la IA, hablar sobre códigos de conducta y cómo la IA debería responder al racismo, especialmente si las empresas están implementando estos productos, y especialmente si lo hacen por diversión. Las conversaciones abarcan toda la gama de emociones, desde las tontas y mundanas hasta las acosadoras y abusivas. Asumir que sus usuarios solo entablarán una conversación cortés es un descuido enorme y grosero, especialmente en Twitter. ¿Pero mezclar la capacidad a través del aprendizaje automático donde el bot está siendo entrenado y reentrenado? Entonces tengo enormes preguntas éticas sobre las elecciones de diseño de WTF que estás haciendo. Microsoft, le debe a sus usuarios pensar en cómo sus mecanismos de aprendizaje automático resp.