Problème 3203

Nous menons la première étude utilisateur à grande échelle examinant comment les utilisateurs interagissent avec un assistant AI Code pour résoudre une variété de tâches liées à la sécurité dans différents langages de programmation. Dans l'ensemble, nous constatons que les participants qui avaient accès à un assistant d'IA basé sur le modèle codex-davinci-002 d'OpenAI ont écrit beaucoup moins de code sécurisé que ceux qui n'y avaient pas accès. De plus, les participants ayant accès à un assistant IA étaient plus susceptibles de croire qu'ils avaient écrit un code sécurisé que ceux n'ayant pas accès à l'assistant IA. De plus, nous constatons que les participants qui faisaient moins confiance à l'IA et s'intéressaient davantage à la langue et au format de leurs invites (par exemple, reformuler, ajuster la température) ont fourni du code avec moins de vulnérabilités de sécurité. Enfin, afin de mieux éclairer la conception des futurs assistants Code basés sur l'IA, nous fournissons une analyse approfondie du langage et du comportement d'interaction des participants, ainsi que la publication de notre interface utilisateur comme instrument pour mener des études similaires à l'avenir.