Incidentes Asociados
Poco antes de que Google presentara Bard, su IA chatbot , al público en marzo, pidió a los empleados que probaran la herramienta.
La conclusión de un trabajador: Bard era "un mentiroso patológico", según capturas de pantalla de la discusión interna. Otro lo llamó "digno de vergüenza". Un empleado escribió que cuando le pidieron sugerencias a Bard sobre cómo aterrizar un avión, regularmente dio consejos que conducirían a un accidente; otro dijo que dio respuestas sobre el buceo “que probablemente resultaría en lesiones graves o la muerte”.
Google lanzó Bard de todos modos. El confiable gigante de las búsquedas en Internet proporciona información de baja calidad en una carrera por mantenerse al día con la competencia, al tiempo que le da menos prioridad a sus compromisos éticos, según 18 trabajadores actuales y anteriores de la empresa y documentación interna revisada por Bloomberg. La empresa propiedad de Alphabet Inc. se comprometió en 2021 a duplicar su equipo que estudia la ética de la inteligencia artificial y a invertir más recursos en la evaluación de los daños potenciales de la tecnología. Pero el debut en noviembre de 2022 del rival el popular chatbot de OpenAI envió a Google [luchando por tejer IA generativa](https://www.bloomberg.com/news/articles/2023 -03-08/chatgpt-success-drives-google-to-put-ai-in-all-its-products) en todos sus productos más importantes en cuestión de meses.
Ese fue un ritmo de desarrollo notablemente más rápido para la tecnología, y uno que podría tener un profundo impacto social. El grupo que trabaja en ética que Google se comprometió a fortalecer ahora está desempoderado y desmoralizado, dijeron los trabajadores actuales y anteriores. A los miembros del personal responsables de la seguridad y las implicaciones éticas de los nuevos productos se les ha dicho que no se interpongan en el camino ni intenten eliminar ninguna de las herramientas de IA generativa en desarrollo, dijeron.
Google tiene como objetivo revitalizar su negocio de búsqueda maduro en torno a la tecnología de punta, que podría poner IA generativa en millones de teléfonos y hogares en todo el mundo, idealmente antes de que OpenAI, con el respaldo de Microsoft Corp., se le adelante a la compañía.
“La ética de la IA ha pasado a un segundo plano”, dijo Meredith Whittaker, presidenta de Signal Foundation, que apoya la mensajería privada, y exgerente de Google. “Si la ética no está posicionada para tener prioridad sobre las ganancias y el crecimiento, en última instancia, no funcionarán”.
En respuesta a las preguntas de Bloomberg, Google dijo que la IA responsable sigue siendo una de las principales prioridades de la empresa. “Seguimos invirtiendo en los equipos que trabajan en la aplicación de nuestros Principios de IA a nuestra tecnología”, dijo Brian Gabriel, un vocero. El equipo que trabaja en IA responsable despidió al menos a tres miembros en una ronda de despidos en enero en la empresa, incluido el jefe de gobierno y programas. Los recortes afectaron a unos 12.000 trabajadores de Google y su empresa matriz.
Google, que a lo largo de los años encabezó gran parte de la investigación que sustenta los avances actuales de la IA, aún no había integrado una versión amigable para el consumidor de la IA generativa en sus productos cuando se lanzó ChatGPT. La compañía fue cautelosa con respecto a su poder y las consideraciones éticas que irían de la mano con la incorporación de la tecnología en la búsqueda y otros productos destacados, dijeron los empleados.
En diciembre, la alta dirección decretó un "código rojo" competitivo y cambió su apetito por el riesgo. Los líderes de Google decidieron que mientras llamara a los nuevos productos "experimentos", el público podría perdonar sus defectos, dijeron los empleados. Aún así, necesitaba incorporar a sus equipos de ética. Ese mes, la líder de gobierno de IA, Jen Gennai, convocó una reunión del grupo de innovación responsable, que se encarga de defender los principios de IA de la empresa.
Gennai sugirió que podrían ser necesarios algunos compromisos para acelerar el ritmo de los lanzamientos de productos. La empresa asigna puntuaciones a sus productos en varias categorías importantes, destinadas a medir su preparación para el lanzamiento al público. En algunos, como la seguridad infantil, los ingenieros aún deben superar el umbral del 100 %. Pero es posible que Google no tenga tiempo para esperar la perfección en otras áreas, aconsejó en la reunión. "La 'equidad' puede no serlo, tenemos que llegar al 99 por ciento", dijo Gennai, refiriéndose a su término para reducir el sesgo en los productos. "En cuanto a la 'equidad', podríamos estar en 80, 85 por ciento o algo así" para ser suficiente para el lanzamiento de un producto, agregó.
En febrero, un empleado planteó problemas en un grupo de mensajes internos: "Bard es peor que inútil: por favor, no lo lance". La nota fue vista por casi 7000 personas, muchas de las cuales estuvieron de acuerdo en que las respuestas de la herramienta de IA eran contradictorias o incluso extremadamente incorrectas en consultas fácticas simples.
Al mes siguiente, Gennai anuló una evaluación de riesgos presentada por miembros de su equipo que afirmaba que Bard no estaba listo porque podría causar daño, según personas familiarizadas con el asunto. Poco después, [Bard se abrió al público, y la compañía lo llamó un "experimento"](https://www.bloomberg.com/news/articles/2023-03-21/google-chatgpt-rival-bard -ahora-abierto-al-uso-público).
En un comunicado, Gennai dijo que no fue únicamente su decisión. Después de la evaluación del equipo, dijo que "agregó a la lista de riesgos potenciales de los revisores y elevó el análisis resultante" a un grupo de líderes sénior en productos, investigación y negocios. Luego, ese grupo "determinó que era apropiado avanzar para un lanzamiento experimental limitado con entrenamiento previo continuo, barandas mejoradas y descargos de responsabilidad apropiados", dijo.
“Hay una gran cantidad de frustración, una gran cantidad de esta sensación de, ¿qué estamos haciendo?”
Silicon Valley en su conjunto todavía está luchando por reconciliar las presiones competitivas con la seguridad. Los investigadores que construyen IA superan en número a los que se centran en la seguridad en una proporción de 30 a 1, dijo el Center for Humane Technology en una presentación reciente, subrayando la experiencia a menudo solitaria de expresar inquietudes en una gran organización.
A medida que se acelera el progreso de la inteligencia artificial, han surgido nuevas preocupaciones sobre sus efectos sociales. Los grandes modelos de lenguaje, las tecnologías que sustentan ChatGPT y Bard, ingieren enormes volúmenes de texto digital de artículos de noticias, publicaciones en redes sociales y otras fuentes de Internet, y luego usan ese material escrito para entrenar software que predice y genera contenido por sí mismo cuando se le da una solicitud o consulta. Eso significa que, por su propia naturaleza, los productos corren el riesgo de regurgitar discursos ofensivos, dañinos o inexactos.
Pero el notable debut de ChatGPT significó que, a principios de este año, no había vuelta atrás. En febrero, Google comenzó una ráfaga de anuncios de productos de IA generativa, promocionando el chatbot Bard y luego el servicio de video de la compañía YouTube, que dijo que los creadores pronto podrían intercambiar virtualmente atuendos en videos o crear "escenarios de películas fantásticos" usando IA generativa. Dos semanas después, Google anunció nuevo Funciones de IA para Google Cloud, que muestran cómo los usuarios de Documentos y Presentaciones podrán, por ejemplo, crear presentaciones y documentos de capacitación en ventas, o redactar correos electrónicos. El mismo día, la empresa [anunció](https://www.bloomberg.com/news/articles/2023-03-14/google-to-integrate-artificial-intelligence-into-health-care-services-products ?leadSource=uverify%20wall) que incluiría IA generativa en sus ofertas de atención médica. Los empleados dicen que les preocupa que la velocidad de desarrollo no permita suficiente tiempo para estudiar los daños potenciales.
El desafío de desarrollar inteligencia artificial de vanguardia de manera ética ha estimulado durante mucho tiempo el debate interno. La compañía ha enfrentado errores de alto perfil en los últimos años, incluido un incidente vergonzoso en 2015 cuando su servicio de fotos etiquetó erróneamente las imágenes de un desarrollador de software negro y su amigo como "gorilas".
Tres años después, la compañía dijo que no arregló la tecnología de inteligencia artificial subyacente, sino que borró todos los resultados de los términos de búsqueda "gorila", "chimpancé" y "mono", una solución que dice "un grupo diverso de expertos". pesado en. La compañía también creó una unidad de IA ética encargada de realizar un trabajo proactivo para hacer que la IA sea más justa para sus usuarios.
Pero un punto de inflexión importante, según más de una docena de empleados actuales y anteriores, fue el [despido](https://www.bloomberg.com/news/articles/2020-12-03/google-s-co-head -of-ethical-ai-says-she-was-fired-over-email?sref=6UP70zYf) de los investigadores de IA Timnit Gebru y Margaret Mitchell, quienes codirigieron el equipo de IA ética de Google hasta que [fueron expulsados](https: //www.bloomberg.com/news/newsletters/2020-12-08/how-timnit-gebru-s-academic-paper-set-off-a-firestorm-at-google) en diciembre de 2020 y febrero de 2021 durante un disputa sobre la equidad en la investigación de IA de la empresa. Samy Bengio, un científico informático que supervisó el trabajo de Gebru y Mitchell, y [otros investigadores] (https://www.bloomberg.com/news/articles/2022-02-02/google-loses-two-ethical-ai- staffers-to-timnit-gebru-s-institute) terminaría [yéndose a los competidores](https://www.bloomberg.com/news/articles/2021-05-03/apple-hires-scientist-bengio-who -left-google-in-wake-of-ai-woes) en los años intermedios.
Tras el escándalo, Google intentó mejorar su reputación pública. El equipo de IA responsable se reorganizó bajo la dirección de Marian Croak, entonces vicepresidenta de ingeniería. Se comprometió a duplicar el tamaño del equipo de ética de IA y fortalecer los lazos del grupo con el resto de la empresa.
Incluso después de los pronunciamientos públicos, a algunos les resultó difícil trabajar en una IA ética en Google. Un exempleado dijo que pidió trabajar en la equidad en el aprendizaje automático y se desanimó de forma rutinaria, hasta el punto de que afectó su revisión de desempeño. Los gerentes protestaron porque se interponía en el camino de su "trabajo real", dijo la persona.
Aquellos que permanecieron trabajando en IA ética en Google se preguntaron cómo hacer el trabajo sin poner en riesgo sus propios trabajos. “Fue un momento aterrador”, dijo Nyalleng Moorosi, ex investigador de la compañía que ahora es investigador principal en el [Instituto de Investigación de IA Distribuida] (https://www.dair-institute.org/), fundado por Gebru . Hacer un trabajo ético de IA significa que "lo contrataron literalmente para decir, no creo que esto esté listo para la población", agregó. “Y entonces estás ralentizando el proceso”.
Hasta el día de hoy, las revisiones de ética de IA de productos y características, dijeron dos empleados, son casi totalmente voluntarias en la empresa, con la excepción de los documentos de investigación y el proceso de revisión realizado por Google Cloud sobre ofertas de clientes y productos para su lanzamiento. La investigación de IA en áreas delicadas como biometría, características de identidad o niños recibe una revisión obligatoria de "temas sensibles" por parte del equipo de Gennai, pero otros proyectos no necesariamente reciben revisiones de ética, aunque algunos empleados se comunican con el equipo de IA ética incluso cuando no es necesario. .
Aún así, cuando los empleados de los equipos de productos e ingeniería de Google buscan una razón por la cual la empresa ha tardado en comercializar la IA, el compromiso público con la ética tiende a surgir. Algunos en la empresa creían que la nueva tecnología debería estar en manos del público lo antes posible, para mejorarla más rápido con la retroalimentación.
“Si quieres seguir en Google, tienes que servir al sistema y no contradecirlo”
Antes del código rojo, podría ser difícil para los ingenieros de Google tener en sus manos los modelos de inteligencia artificial más avanzados de la compañía, dijo otro ex empleado. Los ingenieros a menudo comenzaban a generar ideas jugando con los modelos de IA generativa de otras empresas para explorar las posibilidades de la tecnología antes de descubrir una manera de hacer que suceda dentro de la burocracia, dijo el exempleado.
"Definitivamente veo algunos cambios positivos que surgen del 'código rojo' y OpenAI presionando los botones de Google", dijo Gaurav Nemade, exgerente de productos de Google que trabajó en sus esfuerzos de chatbot hasta 2020. "¿Pueden realmente ser los líderes y desafiar a OpenAI en su propio juego? Desarrollos recientes, como Samsung, según se informa, considerando reemplazar Google con Bing de Microsoft, cuya tecnología funciona con ChatGPT , como el motor de búsqueda en sus dispositivos, han subrayado la ventaja de ser pioneros en el mercado en este momento.
Algunos en la compañía dijeron que creen que Google ha realizado suficientes controles de seguridad con sus nuevos productos de inteligencia artificial generativa y que Bard es más seguro que los chatbots de la competencia. Pero ahora que la prioridad es lanzar productos de IA generativa por encima de todo, los empleados de ética dijeron que es inútil hablar.
Los equipos que trabajan en las nuevas funciones de IA se han aislado, lo que dificulta que los Googlers de rango y archivo vean la imagen completa de en qué está trabajando la empresa. Las listas de correo de la empresa y los canales internos que alguna vez fueron lugares donde los empleados podían expresar abiertamente sus dudas se han restringido con pautas comunitarias con el pretexto de reducir la toxicidad; varios empleados dijeron que veían las restricciones como una forma de vigilar el discurso.
“Hay una gran cantidad de frustración, una gran cantidad de esta sensación de, ¿qué estamos haciendo?” dijo Mitchell. “Incluso si no hay directivas firmes en Google para dejar de hacer un trabajo ético, la atmósfera es una en la que las personas que están haciendo el tipo de trabajo se sienten realmente sin apoyo y, en última instancia, probablemente harán un trabajo menos bueno debido a eso”.
Cuando la gerencia de Google lidia públicamente con preocupaciones éticas, tiende a hablar sobre escenarios futuros hipotéticos sobre una tecnología todopoderosa que no puede ser controlada por seres humanos, una postura que ha sido criticada por algunos en el campo como una forma de marketing, en lugar de que los escenarios cotidianos que ya tienen el potencial de ser dañinos.
El-Mahdi El-Mhamdi, un ex científico investigador de Google, dijo que dejó la compañía en febrero por su negativa a involucrarse directamente con los problemas éticos de la IA. A fines del año pasado, dijo, fue coautor de un artículo que mostraba que era matemáticamente imposible que los modelos fundamentales de IA fueran grandes, robustos y siguieran preservando la privacidad.
Dijo que la compañía planteó preguntas sobre su participación en la investigación mientras usaba su afiliación corporativa. En lugar de pasar por el proceso de defender su trabajo, dijo que se ofreció como voluntario para abandonar la afiliación con Google y usar sus credenciales académicas en su lugar.
“Si quieres permanecer en Google, debes servir al sistema y no contradecirlo”, dijo El-Mhamdi.