Problème 3202

En juin 2021, GitHub a annoncé Copilot, une sorte d'auto-complétion pour le code informatique alimenté par OpenAI's technologie de génération de texte. Il a fourni un premier aperçu du potentiel impressionnant de l'[intelligence artificielle] générative (https://www.wired.com/tag/artificial-intelligence/) pour automatiser un travail précieux. Deux ans plus tard, Copilot est l'un des exemples les plus matures de la façon dont la technologie peut prendre en charge des tâches qui devaient auparavant être effectuées à la main.

Cette semaine Github a publié un rapport, basé sur les données de près d'un million de programmeurs payant pour utiliser Copilot, qui montre à quel point le codage génératif de l'IA est devenu transformationnel. En moyenne, ils ont accepté les suggestions de l'assistant IA environ 30 % du temps, ce qui suggère que le système est remarquablement efficace pour prédire le code utile.

Le graphique frappant ci-dessus montre comment les utilisateurs ont tendance à accepter davantage les suggestions de Copilot à mesure qu'ils passent plus de mois à utiliser l'outil. Le rapport conclut également que les codeurs améliorés par l'IA voient leur productivité augmenter au fil du temps, sur la base du fait que une précédente étude Copilot a signalé un lien entre le nombre de suggestions acceptées et la productivité d'un programmeur. Le nouveau rapport de GitHub indique que les plus grands gains de productivité ont été observés chez les développeurs moins expérimentés.

À première vue, c'est une image impressionnante d'une nouvelle technologie qui prouve rapidement sa valeur. Toute technologie qui améliore la productivité et renforce les capacités des travailleurs moins qualifiés pourrait être une aubaine pour à la fois les particuliers et l'économie au sens large. GitHub poursuit en proposant des spéculations au fond de l'enveloppe, estimant que le codage de l'IA pourrait augmenter le PIB mondial de 1,5 billion de dollars d'ici 2030.

Mais le graphique de GitHub montrant les programmeurs se liant à Copilot m'a rappelé une autre étude dont j'ai entendu parler récemment, en discutant avec Talia Ringer, professeur à l'université de l'Illinois à Urbana-Champaign, sur la relation des codeurs avec des outils comme Copilot.

À la fin de l'année dernière, une équipe de l'Université de Stanford a publié un article de recherche qui a examiné comment l'utilisation d'un assistant IA générateur de code qu'elle a construit affecte la qualité du code que les gens produisent. Les chercheurs ont constaté que les programmeurs recevant des suggestions d'IA avaient tendance à inclure plus de bogues dans leur code final, mais ceux qui avaient accès à l'outil avaient tendance à croire que leur code était plus sécurisé. "Il y a probablement à la fois des avantages et des risques" avec le codage en tandem avec l'IA, déclare Ringer. "Plus de code n'est pas meilleur code."

Lorsque vous considérez la nature de la programmation, cette découverte n'est guère surprenante. Comme Clive Thompson l'a écrit dans une fonctionnalité WIRED 2022, Copilot peut sembler miraculeux, mais ses suggestions sont basées sur des modèles d'autres le travail des programmeurs, qui peut être défectueux. Ces suppositions peuvent créer des bogues diaboliquement difficiles à repérer, surtout lorsque vous êtes envoûté par la qualité de l'outil.

Nous savons par d'autres domaines de l'ingénierie que les humains peuvent être bercé par une dépendance excessive à l'automatisation. La Federal Aviation Authority des États-Unis a à plusieurs reprises que certains pilotes deviennent si dépendants du pilote automatique que leurs compétences de vol s'atrophient. Un phénomène similaire est bien connu des voitures autonomes, où une vigilance extraordinaire est requise pour se prémunir contre des accidents rares mais potentiellement mortels Défaillance.

Ce paradoxe peut être au cœur de l'histoire en développement de l'IA générative - et où cela nous mènera. La technologie semble déjà entraîner une spirale descendante dans la qualité du contenu Web, car les sites réputés sont inondés de scories générées par l'IA, les sites Web de spam prolifèrent et les chatbots tentent de stimuler artificiellement l'engagement.

Rien de tout cela ne veut dire que l'IA générative est un échec. De plus en plus de recherches montrent comment les outils d'IA générative peuvent améliorer les performances et le bonheur de certains employés, tels que [ceux qui gèrent les appels d'assistance client](https://www.wired.com/story/should-you- soyez-payé-pour-enseigner-à-un-chatbot-pour-faire-votre-travail/). Certaines autres études n'ont également trouvé aucune augmentation des bogues de sécurité lorsque les développeurs utilisent un assistant IA. Et à son crédit, GitHub étudie la question de savoir comment coder en toute sécurité avec l'aide de l'IA. En février, il a annoncé [une nouvelle fonctionnalité Copilot qui tente de détecter les vulnérabilités](https://github.blog/2023-02-14-github-copilot-now-has-a-better-ai-model-and-new- capacity/#filtering-out-security-vulnerabilities-with-a-new-ai-system) généré par le modèle sous-jacent.

Mais les effets complexes de la génération de code constituent une mise en garde pour les entreprises qui s'efforcent de déployer des algorithmes génératifs pour d'autres cas d'utilisation.

Les régulateurs et les législateurs montrant plus de préoccupation à propos de l'IA devraient également prendre note . Avec tant d'enthousiasme pour le potentiel de la technologie - et des spéculations folles sur la façon dont elle pourrait prendre le contrôle du monde - plus subtile et encore plus substantielle les preuves du fonctionnement des déploiements d'IA pourraient être ignorées. À peu près tout dans notre avenir sera étayé par des logiciels - et si nous ne faisons pas attention, il pourrait également être criblé de bogues générés par l'IA.