Incidents associés
Peu de temps avant que Google n'introduise Bard, son chatbot IA , au public en mars, il a demandé aux employés de tester l'outil.
Conclusion d'un travailleur : Bard était "un menteur pathologique", selon des captures d'écran de la discussion interne. Un autre l'a qualifié de "digne de grincer des dents". Un employé a écrit que lorsqu'il demandait à Bard des suggestions sur la façon d'atterrir un avion, il donnait régulièrement des conseils qui conduiraient à un accident; un autre a déclaré qu'il avait donné des réponses sur la plongée sous-marine "qui entraînerait probablement des blessures graves ou la mort".
Google a quand même lancé Bard. Le géant de confiance de la recherche sur Internet fournit des informations de mauvaise qualité dans une course pour suivre la concurrence, tout en accordant moins de priorité à ses engagements éthiques, selon 18 employés actuels et anciens de l'entreprise et une documentation interne examinée par Bloomberg. La société appartenant à Alphabet Inc. s'était engagée en 2021 à doubler son équipe étudiant l'éthique de l'intelligence artificielle et à consacrer davantage de ressources à l'évaluation des dommages potentiels de la technologie. Mais les débuts en novembre 2022 de son rival le populaire chatbot d'OpenAI ont envoyé Google [se bousculer pour tisser l'IA générative](https://www.bloomberg.com/news/articles/2023 -03-08/chatgpt-success-drives-google-to-put-ai-in-all-its-products) dans tous ses produits les plus importants en quelques mois.
C'était un rythme de développement nettement plus rapide pour la technologie, et qui pourrait avoir un impact sociétal profond. Le groupe travaillant sur l'éthique que Google s'est engagé à renforcer est désormais impuissant et démoralisé, ont déclaré les travailleurs actuels et anciens. Les membres du personnel responsables de la sécurité et des implications éthiques des nouveaux produits ont reçu l'ordre de ne pas gêner ou d'essayer de tuer l'un des outils d'IA générative en développement, ont-ils déclaré.
Google vise à revitaliser son activité de recherche en pleine maturité autour de la technologie de pointe, qui pourrait mettre l'IA générative dans des millions de téléphones et de foyers à travers le monde - idéalement avant qu'OpenAI, avec le soutien de Microsoft Corp., ne devance l'entreprise.
"L'éthique de l'IA est passée au second plan", a déclaré Meredith Whittaker, présidente de la Signal Foundation, qui soutient la messagerie privée, et ancienne responsable de Google. "Si l'éthique n'est pas positionnée pour prendre le pas sur le profit et la croissance, elle ne fonctionnera finalement pas."
En réponse aux questions de Bloomberg, Google a déclaré que l'IA responsable restait une priorité absolue pour l'entreprise. "Nous continuons d'investir dans les équipes qui travaillent à l'application de nos principes d'IA à notre technologie", a déclaré Brian Gabriel, un porte-parole. L'équipe travaillant sur l'IA responsable a licencié au moins trois membres lors d'une série de licenciements en janvier dans l'entreprise, dont le responsable de la gouvernance et des programmes. Les coupes ont touché environ 12 000 travailleurs chez Google et sa société mère.
Google, qui au fil des ans a dirigé une grande partie de la recherche qui sous-tend les avancées actuelles de l'IA, n'avait pas encore intégré une version conviviale de l'IA générative dans ses produits au moment du lancement de ChatGPT. La société était prudente quant à son pouvoir et aux considérations éthiques qui iraient de pair avec l'intégration de la technologie dans la recherche et d'autres produits phares, ont déclaré les employés.
En décembre, la haute direction a décrété un « code rouge » concurrentiel et modifié son appétit pour le risque. Les dirigeants de Google ont décidé que tant qu'ils appelleraient les nouveaux produits "expérimentaux", le public pourrait pardonner leurs lacunes, ont déclaré les employés. Pourtant, il lui fallait embarquer ses équipes d'éthique. Ce mois-là, la responsable de la gouvernance de l'IA, Jen Gennai, a convoqué une réunion du groupe d'innovation responsable, qui est chargé de faire respecter les principes de l'IA de l'entreprise.
Gennai a suggéré que certains compromis pourraient être nécessaires afin d'accélérer le rythme des lancements de produits. La société attribue des notes à ses produits dans plusieurs catégories importantes, destinées à mesurer leur état de préparation pour la diffusion au public. Dans certains cas, comme la sécurité des enfants, les ingénieurs doivent encore franchir le seuil de 100 %. Mais Google n'aura peut-être pas le temps d'attendre la perfection dans d'autres domaines, a-t-elle conseillé lors de la réunion. "" L'équité "peut ne pas l'être, nous devons atteindre 99%", a déclaré Gennai, faisant référence à son terme pour réduire les biais dans les produits. "Sur" l'équité ", nous pourrions être à 80, 85% ou quelque chose comme ça" pour être suffisant pour un lancement de produit, a-t-elle ajouté.
En février, un employé a soulevé des problèmes dans un groupe de messagerie interne : "Bard est pire qu'inutile : s'il vous plaît, ne le lancez pas." La note a été vue par près de 7 000 personnes, dont beaucoup ont convenu que les réponses de l'outil d'IA étaient contradictoires ou même extrêmement fausses sur de simples requêtes factuelles.
Le mois suivant, Gennai a annulé une évaluation des risques soumise par des membres de son équipe déclarant que Bard n'était pas prête car cela pourrait causer des dommages, selon des personnes proches du dossier. Peu de temps après, [Bard a été ouvert au public - la société l'appelant une "expérience"](https://www.bloomberg.com/news/articles/2023-03-21/google-chatgpt-rival-bard -maintenant-ouvert-au-public).
Dans un communiqué, Gennai a déclaré que ce n'était pas uniquement sa décision. Après l'évaluation de l'équipe, elle a déclaré avoir "ajouté à la liste des risques potentiels des examinateurs et transmis l'analyse résultante" à un groupe de hauts dirigeants des produits, de la recherche et des affaires. Ce groupe a ensuite "déterminé qu'il était approprié d'aller de l'avant pour un lancement expérimental limité avec une pré-formation continue, des garde-fous améliorés et des clauses de non-responsabilité appropriées", a-t-elle déclaré.
« Il y a une grande quantité de frustration, une grande quantité de ce sentiment de sympathie, qu'est-ce qu'on fait même ? »
La Silicon Valley dans son ensemble peine encore à concilier pressions concurrentielles et sécurité. Les chercheurs qui construisent l'IA sont plus nombreux que ceux qui se concentrent sur la sécurité dans un rapport de 30 pour 1, a déclaré le Center for Humane Technology lors d'une récente présentation, soulignant l'expérience souvent solitaire d'exprimer des préoccupations dans une grande organisation.
Alors que les progrès de l'intelligence artificielle s'accélèrent, de nouvelles préoccupations concernant ses effets sociétaux sont apparues. Les grands modèles de langage, les technologies qui sous-tendent ChatGPT et Bard, ingèrent d'énormes volumes de texte numérique à partir d'articles de presse, de publications sur les réseaux sociaux et d'autres sources Internet, puis utilisent ce matériel écrit pour former un logiciel qui prédit et génère du contenu par lui-même lorsqu'on lui donne un invite ou requête. Cela signifie que de par leur nature même, les produits risquent de régurgiter des propos offensants, nuisibles ou inexacts.
Mais les débuts remarquables de ChatGPT signifiaient qu'au début de cette année, il n'y avait plus de retour en arrière. En février, Google a lancé une campagne éclair d'annonces de produits d'IA générative, vantant le chatbot Bard, puis le service vidéo de la société YouTube, qui a déclaré que les créateurs seraient bientôt en mesure d'échanger virtuellement des tenues dans des vidéos ou de créer des "paramètres de film fantastiques" à l'aide de l'IA générative. Deux semaines plus tard, Google a annoncé nouveau Fonctionnalités d'IA pour Google Cloud, montrant comment les utilisateurs de Docs et Slides pourront, par exemple, créer des présentations et des documents de formation à la vente, ou rédiger des e-mails. Le même jour, la société [a annoncé](https://www.bloomberg.com/news/articles/2023-03-14/google-to-integrate-artificial-intelligence-into-health-care-services-products ?leadSource=uverify%20wall) qu'il intégrerait l'IA générative dans ses offres de soins de santé. Les employés disent qu'ils craignent que la vitesse de développement ne laisse pas suffisamment de temps pour étudier les dommages potentiels.
Le défi de développer une intelligence artificielle de pointe de manière éthique a longtemps suscité un débat interne. La société a été confrontée à des bévues très médiatisées au cours des dernières années, notamment un incident embarrassant en 2015 lorsque son service Photos a qualifié par erreur les images d'un développeur de logiciels noir et de son ami de "gorilles".
Trois ans plus tard, la société a déclaré qu'elle n'avait pas corrigé la technologie d'IA sous-jacente, mais avait plutôt effacé tous les résultats pour les termes de recherche « gorille », « chimpanzé » et « singe », une solution qui, selon elle, « un groupe diversifié d'experts » pesé sur. L'entreprise a également mis en place une unité d'IA éthique chargée de mener un travail proactif pour rendre l'IA plus juste pour ses utilisateurs.
Mais un tournant important, selon plus d'une douzaine d'employés actuels et anciens, a été l'[éviction](https://www.bloomberg.com/news/articles/2020-12-03/google-s-co-head -of-ethical-ai-says-she-was-fired-over-email?sref=6UP70zYf) des chercheurs en IA Timnit Gebru et Margaret Mitchell, qui ont co-dirigé l'équipe d'IA éthique de Google jusqu'à ce qu'ils soient expulsés (https : //www.bloomberg.com/news/newsletters/2020-12-08/how-timnit-gebru-s-academic-paper-set-off-a-firestorm-at-google) en décembre 2020 et février 2021 sur une différend concernant l'équité dans la recherche sur l'IA de l'entreprise. Samy Bengio, un informaticien qui a supervisé les travaux de Gebru et Mitchell, et [plusieurs autres chercheurs](https://www.bloomberg.com/news/articles/2022-02-02/google-loses-two-ethical-ai- staffers-to-timnit-gebru-s-institute) finirait par [partir pour les concurrents](https://www.bloomberg.com/news/articles/2021-05-03/apple-hires-scientist-bengio-who -left-google-in-wake-of-ai-woes) dans les années qui ont suivi.
Après le scandale, Google a tenté d'améliorer sa réputation publique. L'équipe d'IA responsable a été réorganisée sous Marian Croak, alors vice-présidente de l'ingénierie. Elle s'est engagée à doubler la taille de l'équipe d'éthique de l'IA et à renforcer les liens du groupe avec le reste de l'entreprise.
Même après les déclarations publiques, certains ont eu du mal à travailler sur l'IA éthique chez Google. Un ancien employé a déclaré qu'il avait demandé à travailler sur l'équité dans l'apprentissage automatique et qu'il était régulièrement découragé, au point que cela affectait son évaluation des performances. Les responsables ont protesté que cela gênait leur «vrai travail», a déclaré la personne.
Ceux qui sont restés à travailler sur l'IA éthique chez Google se sont demandé comment faire le travail sans mettre leur propre emploi en danger. "C'était une période effrayante", a déclaré Nyalleng Moorosi, un ancien chercheur de l'entreprise qui est maintenant chercheur principal au Distributed AI Research Institute, fondé par Gebru . Faire un travail d'IA éthique signifie "vous avez été littéralement embauché pour dire, je ne pense pas que ce soit prêt pour la population", a-t-elle ajouté. "Et donc vous ralentissez le processus."
À ce jour, les examens éthiques des produits et des fonctionnalités de l'IA, ont déclaré deux employés, sont presque entièrement volontaires dans l'entreprise, à l'exception des documents de recherche et du processus d'examen mené par Google Cloud sur les offres des clients et les produits à publier. La recherche sur l'IA dans des domaines délicats comme la biométrie, les caractéristiques d'identité ou les enfants fait l'objet d'un examen obligatoire des «sujets sensibles» par l'équipe de Gennai, mais d'autres projets ne reçoivent pas nécessairement d'examens éthiques, bien que certains employés contactent l'équipe d'IA éthique même lorsque cela n'est pas nécessaire. .
Pourtant, lorsque les employés des équipes de produits et d'ingénierie de Google cherchent une raison pour laquelle l'entreprise a mis du temps à commercialiser l'IA, l'engagement public envers l'éthique a tendance à se manifester. Certains membres de l'entreprise pensaient que les nouvelles technologies devraient être entre les mains du public dès que possible, afin de les améliorer plus rapidement grâce aux commentaires.
"Si vous voulez rester chez Google, vous devez servir le système et non le contredire"
Avant le code rouge, il pourrait être difficile pour les ingénieurs de Google de mettre la main sur les modèles d'IA les plus avancés de l'entreprise, a déclaré un autre ancien employé. Les ingénieurs commençaient souvent à réfléchir en jouant avec les modèles d'IA générative d'autres entreprises pour explorer les possibilités de la technologie avant de trouver un moyen de la concrétiser au sein de la bureaucratie, a déclaré l'ancien employé.
"Je vois certainement des changements positifs sortir du" code rouge "et d'OpenAI en appuyant sur les boutons de Google", a déclaré Gaurav Nemade, un ancien chef de produit Google qui a travaillé sur ses efforts de chatbot jusqu'en 2020. "Peuvent-ils réellement être les leaders et défier OpenAI à leur propre jeu ? Développements récents - comme Samsung aurait envisagé de remplacer Google avec Bing de Microsoft, dont la technologie est alimentée par ChatGPT , en tant que moteur de recherche sur ses appareils, ont souligné l'avantage du premier arrivé sur le marché à l'heure actuelle.
Certains membres de l'entreprise ont déclaré qu'ils pensaient que Google avait effectué suffisamment de contrôles de sécurité avec ses nouveaux produits d'IA générative et que Bard était plus sûr que les chatbots concurrents. Mais maintenant que la priorité est avant tout de publier des produits d'IA générative, les employés de l'éthique ont déclaré qu'il était devenu vain de s'exprimer.
Les équipes travaillant sur les nouvelles fonctionnalités d'IA ont été cloisonnées, ce qui rend difficile pour les Googleurs de base d'avoir une vue d'ensemble de ce sur quoi l'entreprise travaille. Les listes de diffusion et les canaux internes de l'entreprise qui étaient autrefois des endroits où les employés pouvaient exprimer ouvertement leurs doutes ont été réduits avec des directives communautaires sous prétexte de réduire la toxicité ; plusieurs employés ont déclaré qu'ils considéraient les restrictions comme un moyen de contrôler la parole.
"Il y a une grande quantité de frustration, une grande quantité de ce sentiment, que faisons-nous même?" dit Mitchell. "Même s'il n'y a pas de directives fermes chez Google pour arrêter de faire un travail éthique, l'atmosphère est telle que les personnes qui font ce genre de travail se sentent vraiment mal soutenues et feront probablement moins bien leur travail à cause de cela."
Lorsque la direction de Google s'attaque publiquement aux problèmes d'éthique, elle a tendance à parler de scénarios futurs hypothétiques concernant une technologie toute-puissante qui ne peut pas être contrôlée par des êtres humains - une position qui a été critiquée par certains dans le domaine comme une forme de marketing - plutôt que les scénarios quotidiens qui ont déjà le potentiel d'être nocifs.
El-Mahdi El-Mhamdi, ancien chercheur chez Google, a déclaré qu'il avait quitté l'entreprise en février en raison de son refus de s'attaquer de front aux problèmes éthiques de l'IA. À la fin de l'année dernière, a-t-il déclaré, il a co-écrit un article qui montrait qu'il était mathématiquement impossible que les modèles d'IA fondamentaux soient volumineux, robustes et préservent la confidentialité.
Il a déclaré que la société avait soulevé des questions sur sa participation à la recherche tout en utilisant son affiliation à une entreprise. Plutôt que de passer par le processus de défense de son travail, il a déclaré qu'il s'était porté volontaire pour abandonner l'affiliation avec Google et utiliser ses diplômes universitaires à la place.
"Si vous voulez rester chez Google, vous devez servir le système et ne pas le contredire", a déclaré El-Mhamdi.