Incidentes Asociados
Los seres humanos tienen una larga historia de enloquecimiento por los posibles efectos de nuestras tecnologías. Hace mucho tiempo, a Platón le preocupaba que la escritura pudiera dañar la memoria de las personas e “implantar el olvido en sus almas”. Más recientemente, el cuento de Mary Shelley sobre el monstruo de Frankenstein nos advirtió contra jugar a ser Dios.
Hoy, a medida que se multiplican las inteligencias artificiales, nuestros dilemas éticos se han vuelto más espinosos. Esto se debe a que la IA puede (y a menudo debe) comportarse de formas que los creadores humanos no esperarían. Nuestros autos sin conductor tienen que lidiar con los mismos problemas que yo estudié en mis clases de filosofía en la universidad. Y, a veces, nuestros amigables y bien intencionados chatbots resultan ser nazis racistas.
El desastroso chatbot Tay de Microsoft estaba destinado a ser un experimento inteligente en inteligencia artificial y aprendizaje automático. El bot hablaría como los millennials, aprendiendo de las personas con las que interactuaba en Twitter y las aplicaciones de mensajería Kik y GroupMe. Pero tomó menos de 24 horas para el alegre saludo de Tay de "¡Los humanos son súper geniales!" para transformarse en el decididamente menos burbujeante "Hitler tenía razón". Microsoft desconectó rápidamente el bot para "algunos ajustes". Al ver lo que había forjado su código, uno se pregunta si esos ingenieros de Microsoft tenían resonando en sus oídos las palabras de J. Robert Oppenheimer: “Ahora me he convertido en la muerte, el destructor de mundos”.
Pero la pregunta que siempre debemos hacernos antes de lanzarnos de cabeza a lo desconocido con las nuevas tecnologías es: ¿Quién se beneficia?
Los cínicos podrían argumentar que el mal comportamiento de Tay es en realidad una prueba del éxito de Microsoft. Su objetivo era crear un bot que no se distinguiera de los usuarios humanos de Twitter, y los tweets racistas de Tay son bastante normales en las redes sociales en estos días.
Es cierto que a veces los humanos le enseñaban a Tay a odiar. Daniel Victor en The New York Times escribe: "Los usuarios ordenaron al bot que repitiera sus propias declaraciones, y el bot cumplió obedientemente".
Pero otras veces, Tay descubrió cómo ser ofensivo por sí solo. Cuando un usuario le preguntó a Tay si ocurrió el Holocausto, Tay respondió: "fue inventado 👏". Inquietantemente, como señaló Elspeth Reeve en New Republic, Tay también sabe dibujar:
Cuando Tay pidió una foto, alguien le envió una versión de la clásica foto de la guerra de Vietnam de un prisionero al que le disparan en la cabeza, con Mark Wahlberg retocado como el verdugo. Tay rodeó el rostro de Wahlberg y el prisionero y respondió usando la jerga para imaginarse a dos personas en una relación romántica: “ME ENVIARÉ A TODOS DE AHORA EN ADELANTE”.
Claramente nada de esto era parte del plan de Microsoft. Pero la pregunta más importante planteada por Tay es por qué estamos creando bots que imitan a los millennials.
Estoy a favor de los avances en tecnología. Pero la pregunta que siempre debemos hacernos antes de lanzarnos de cabeza a lo desconocido con las nuevas tecnologías es: ¿Quién se beneficia? ¿De quién son las caras que reconoce nuestro software? ¿El habla de quién puede entender Siri?
Como escribe Anthony Lydgate del New Yorker, Tay se construyó “con un ojo particular hacia esa gran reserva de capital sin explotar, los estadounidenses entre las edades de dieciocho y veinticuatro años”. Incluso con Tay fuera de línea, uno solo necesita visitar su sitio que provoca gemidos para ver cuán claramente Microsoft está complaciendo a los jóvenes, con una copia llena de signos de exclamación y "trucos para ayudarlo a usted y a Tay". Lo más probable es que el punto de Tay tenga algo que ver con ganar dinero.
En su corta vida, Tay fue utilizado como una herramienta para el acoso, cortando líneas familiares de poder y privilegio.
Eso está bien: no tengo nada en contra del capitalismo. Pero vale la pena recordar que en una sociedad de capitalismo tardío, la respuesta a la pregunta ¿Quién se beneficia? es casi siempre que las personas con más poder obtienen la mayor cantidad de recompensas. Tay fue diseñado para beneficiar a una corporación al ganarse a los consumidores jóvenes, y los problemas resultantes reflejan el vacío de ese propósito.
La otra cara de ¿Quién se beneficia? ¿Quién sale perjudicado? En su corta vida, Tay fue utilizado como una herramienta para el acoso, cortando líneas familiares de poder y privilegio. La historia arroja luz sobre la miopía generada por la falta de diversidad en el mundo tecnológico. Como escribe Leigh Alexander en The Guardian, Tay es "otro ejemplo más de por qué necesitamos más mujeres en la tecnología, y de cómo la industria no está escuchando a quienes ya estamos aquí". Ella continúa:
¿Cómo podría alguien pensar que crear una mujer joven e invitar a extraños a interactuar con ella en las redes sociales haría a Tay "más inteligente"? ¿Cómo se puede encontrar la historia de Tay con tal desconcierto corporativo, con una disculpa tan tardía? ¿Por qué nadie en Microsoft supo desde el principio que esto sucedería, cuando todas nosotras, mujeres periodistas, activistas, desarrolladoras de juegos e ingenieras que vivimos en línea todos los días y podríamos haberlo predicho, estamos hablando de eso todo el tiempo?
Con toda probabilidad, seguiremos construyendo bots como Tay. La humanidad es conocida por muchas cosas, pero el autocontrol no es una de ellas.
Pero si debemos construir bots de marca, tal vez al menos podamos hacerlos menos horrendos. Hace poco escribí que “Internet puede sentirse como un lugar horrible.