Incidentes Asociados
En 2015, un desarrollador de software negro avergonzó a Google al twittear que el servicio de fotos de la compañía había etiquetado fotos de él con un amigo negro como "gorilas". Google se declaró "consternado y sinceramente arrepentido". Un ingeniero que se convirtió en el rostro público de la operación de limpieza dijo que la etiqueta de gorila ya no se aplicaría a grupos de imágenes y que Google estaba "trabajando en soluciones a largo plazo".
Más de dos años después, una de esas correcciones es borrar a los gorilas y algunos otros primates del léxico del servicio. La incómoda solución ilustra las dificultades que enfrentan Google y otras empresas tecnológicas para avanzar en la tecnología de reconocimiento de imágenes, que las empresas esperan utilizar en automóviles autónomos, asistentes personales y otros productos.
WIRED probó Google Fotos usando una colección de 40,000 imágenes repletas de animales. Se desempeñó de manera impresionante al encontrar muchas criaturas, incluidos pandas y caniches. Pero el servicio no reportó resultados para los términos de búsqueda "gorila", "chimpancé", "chimpancé" y "mono".
Google ha censurado las búsquedas de "gorila", "chimpancé" y "mono" dentro de su servicio de organización de fotos personales Google Photos. Captura de pantalla: Con cable
Google Photos, que se ofrece como aplicación móvil y sitio web, brinda a 500 millones de usuarios un lugar para administrar y realizar copias de seguridad de sus instantáneas personales. Utiliza tecnología de aprendizaje automático para agrupar automáticamente fotos con contenido similar, por ejemplo, lagos o café con leche. La misma tecnología permite a los usuarios buscar en sus colecciones personales.
En las pruebas de WIRED, Google Photos identificó algunos primates. Las búsquedas de "babuino", "gibón", "tití" y "orangután" funcionaron bien. Se pueden encontrar monos capuchinos y colobos siempre que la búsqueda utilice esos términos sin agregar la palabra M.
En otra prueba, WIRED subió 20 fotos de chimpancés y gorilas provenientes de organizaciones sin fines de lucro Chimp Haven y el Instituto Dian Fossey. Algunos de los simios se podían encontrar usando los términos de búsqueda "bosque", "selva" o "zoológico", pero el resto resultó difícil de encontrar.
El resultado: dentro de Google Photos, un babuino es un babuino, pero un mono no es un mono. Los gorilas y los chimpancés son invisibles.
Google Lens, que intenta interpretar las fotos en un teléfono inteligente, tampoco puede ver a los gorilas. Captura de pantalla: Con cable
En una tercera prueba que intentaba evaluar la visión de las personas de Google Photos, WIRED también subió una colección de más de 10,000 imágenes utilizadas en la investigación de reconocimiento facial. El término de búsqueda "afroamericano" arrojó solo una imagen de un antílope pastando. Escribir "hombre negro", "mujer negra" o "persona negra" hizo que el sistema de Google mostrara imágenes en blanco y negro de personas, ordenadas correctamente por género, pero no filtradas por raza. Los únicos términos de búsqueda con resultados que parecían seleccionar para personas con tonos de piel más oscuros fueron "afro" y "africano", aunque los resultados fueron mixtos.
Un portavoz de Google confirmó que "gorila" fue censurado en búsquedas y etiquetas de imágenes después del incidente de 2015, y que "chimpancé", "chimpancé" y "mono" también están bloqueados hoy. “La tecnología de etiquetado de imágenes aún es temprana y, lamentablemente, no es perfecta”, escribió el portavoz en un correo electrónico, destacando una función de Google Photos que permite a los usuarios informar errores.
La precaución de Google con respecto a las imágenes de gorilas ilustra una deficiencia de la tecnología de aprendizaje automático existente. Con suficientes datos y poder de cómputo, el software se puede entrenar para categorizar imágenes o transcribir el habla con un alto nivel de precisión. Pero no puede ir más allá de la experiencia de ese entrenamiento. E incluso los mejores algoritmos carecen de la capacidad de usar el sentido común o conceptos abstractos para refinar su interpretación del mundo como lo hacen los humanos.
Como resultado, los ingenieros de aprendizaje automático que implementan sus creaciones en el mundo real deben preocuparse por los "casos de esquina" que no se encuentran en sus datos de capacitación. “Es muy difícil modelar todo lo que verá su sistema una vez que esté activo”, dice Vicente Ordóñez Román, profesor de la Universidad de Virginia. Contribuyó a una investigación el año pasado que mostró que los algoritmos de aprendizaje automático aplicados a las imágenes podrían detectar y amplificar las opiniones sesgadas de los roles de género.
Los usuarios de Google Fotos cargan fotos tomadas en todo tipo de condiciones imperfectas. Dada la cantidad de imágenes en la base de datos masiva, una pequeña posibilidad de confundir un tipo de gran simio con otro puede convertirse en casi una certeza.
La empresa matriz de Google, Alphabet, y la industria tecnológica en general enfrentan versiones de este problema con riesgos aún mayores, como con los autos sin conductor. Junto con su colega Baishakhi Ray, experto en confiabilidad de software, Román está investigando formas de restringir los posibles comportamientos de los sistemas de visión utilizados en escenarios como los automóviles autónomos. Ray dice que ha habido progreso, pero aún no está claro qué tan bien se pueden manejar las limitaciones de tales sistemas. “Todavía no sabemos de manera muy concreta qué están aprendiendo estos modelos de aprendizaje automático”, dice.
Algunos de los sistemas de aprendizaje automático de Google pueden detectar gorilas en público. La computación en la nube de la compañía d