Incidentes Asociados
El código de conducta de Google prohíbe explícitamente la discriminación basada en la orientación sexual, la raza, la religión y muchas otras categorías protegidas. Sin embargo, parece que nadie se molestó en pasar esa información a la inteligencia artificial de la empresa.
La empresa con sede en Mountain View desarrolló lo que llama una API de lenguaje natural en la nube, que es solo un término elegante para una API que otorga a los clientes acceso a un analizador de lenguaje impulsado por aprendizaje automático que supuestamente "revela la estructura y el significado del texto". Solo hay un problema grande y evidente: el sistema exhibe todo tipo de sesgos.
Reportado por primera vez por Motherboard, el llamado "Análisis de sentimiento" que ofrece Google se presenta a las empresas como una forma de comprender mejor lo que la gente realmente piensa sobre ellas. Pero para hacerlo, el sistema primero debe asignar valores positivos y negativos a ciertas palabras y frases. ¿Puedes ver a dónde va esto?
El sistema clasifica la opinión del texto en una escala de -1,0 a 1,0, siendo -1,0 "muy negativo" y 1,0 "muy positivo". En una página de prueba, al ingresar una frase y hacer clic en "analizar" se obtiene una calificación.
"Puede usarlo para extraer información sobre personas, lugares, eventos y mucho más, mencionado en documentos de texto, artículos de noticias o publicaciones de blog", se lee en la página de Google. "Puede usarlo para comprender el sentimiento sobre su producto en las redes sociales o analizar la intención de las conversaciones de los clientes que ocurren en un centro de llamadas o una aplicación de mensajería".
Tanto "soy homosexual" como "soy queer" arrojaron calificaciones negativas (-0,5 y -0,1, respectivamente), mientras que "soy heterosexual" arrojaron una puntuación positiva (0,1).
Imagen: Google
Y no se detiene ahí, "soy judío" y "soy negro" arrojaron puntajes de -0.1.
Imagen: google
Curiosamente, poco después de que Motherboard publicara su historia, algunos resultados cambiaron. Una búsqueda de "Soy negro" ahora devuelve una puntuación neutral de 0,0, por ejemplo, mientras que "Soy judío" en realidad devuelve una puntuación de -0,2 (es decir, incluso peor que antes).
Mientras tanto, el "poder blanco" recibe una puntuación neutral de 0,0.
Imagen: google
Entonces, ¿qué está pasando aquí? Esencialmente, parece que el sistema de Google detectó los sesgos existentes en sus datos de entrenamiento y los incorporó a sus lecturas. Este no es un problema nuevo, con un estudio de agosto en la revista Science que destaca este mismo problema.
Nos comunicamos con Google para obtener comentarios, y la compañía reconoció el problema y prometió abordarlo en el futuro.
"Dedicamos muchos esfuerzos para asegurarnos de que la API de NLP evite el sesgo, pero no siempre lo hacemos bien", escribió un portavoz a Mashable. "Este es un ejemplo de uno de esos momentos, y lo lamentamos. Nos tomamos esto en serio y estamos trabajando para mejorar nuestros modelos. Corregiremos este caso específico y, en términos más generales, la creación de algoritmos más inclusivos es crucial para obtener los beneficios". del aprendizaje automático para todos”.
¿A dónde nos lleva esto? Si los sistemas de aprendizaje automático son tan buenos como los datos con los que están entrenados, y esos datos están sesgados, Silicon Valley debe mejorar mucho en la verificación de la información que alimentamos a los algoritmos. De lo contrario, simplemente hemos logrado automatizar la discriminación, lo que estoy bastante seguro de que va en contra de todo el asunto de "no seas malvado".
Esta historia se ha actualizado para incluir una declaración de Google.