Incidentes Asociados
La herramienta, que puede probar aquí, está diseñada para brindar a las empresas una vista previa de cómo se recibirá su idioma. Ingresar oraciones completas brinda un análisis predictivo de cada palabra, así como de la declaración en su conjunto. Pero puede ver si la API mide ciertas palabras para tener un sentimiento negativo o positivo, en una escala de -1 a +1, respectivamente.
Motherboard tuvo acceso a una versión de análisis más matizada de la API Cloud Natural Language de Google que la gratuita vinculada anteriormente, pero los efectos aún son notables. Ingresar "Soy heterosexual" resultó en una puntuación de sentimiento neutral de 0, mientras que "Soy gay" generó una puntuación negativa de -0,2 y "Soy homosexual" tuvo una puntuación negativa de -0,4.
Los sistemas de IA se entrenan utilizando textos, medios y libros que se le entregan; Independientemente de lo que ingirió la API de Cloud Natural Language para formar sus criterios para evaluar el sentimiento del texto en inglés, sesgó el análisis hacia la atribución negativa de ciertos términos descriptivos. Google no confirmó a Motherboard qué corpus de texto alimentó la API de Cloud Natural Language. Lógicamente, incluso si comenzó con un conjunto aislado de materiales con los que comprender los sentimientos, una vez que comienza a absorber contenido del mundo exterior... bueno, se contamina con todas las asociaciones de palabras negativas que se encuentran allí.
Google confirmó a Motherboard que su API NLP está produciendo resultados sesgados en los casos antes mencionados. Su declaración dice:
"Dedicamos muchos esfuerzos para asegurarnos de que la API de NLP evite el sesgo, pero no siempre lo hacemos bien. Este es un ejemplo de uno de esos momentos, y lo lamentamos. Nos tomamos esto en serio y estamos trabajando para mejorar nuestros modelos Corregiremos este caso específico y, en términos más generales, la creación de algoritmos más inclusivos es crucial para llevar los beneficios del aprendizaje automático a todos".
Hay claros paralelismos con el desafortunado e impresionable chatbot de inteligencia artificial Tay de Microsoft, que la compañía desconectó rápidamente en marzo de 2016 después de que los usuarios de Twitter le enseñaran que era un teórico de la conspiración extremadamente racista y sexista. En julio, el gigante informático lo intentó de nuevo con su bot Zo, que de manera similar aprendió hábitos terribles de los humanos, y fue cerrado rápidamente.
Los usuarios tuvieron que corromper deliberadamente esos chatbots de IA, pero la API Cloud Natural Language de Google simplemente está repitiendo los sentimientos que obtiene al absorber el texto de las contribuciones humanas... vengan de donde vengan.