Problema 3203

Realizamos el primer estudio de usuarios a gran escala que examina cómo los usuarios interactúan con un asistente de AI Code para resolver una variedad de tareas relacionadas con la seguridad en diferentes lenguajes de programación. En general, encontramos que los participantes que tenían acceso a un asistente de IA basado en el modelo codex-davinci-002 de OpenAI escribieron un código significativamente menos seguro que aquellos que no tenían acceso. Además, los participantes con acceso a un asistente de IA tenían más probabilidades de creer que escribieron un código seguro que los que no tenían acceso al asistente de IA. Además, encontramos que los participantes que confiaron menos en la IA y se comprometieron más con el lenguaje y el formato de sus indicaciones (por ejemplo, reformulación, ajuste de la temperatura) proporcionaron código con menos vulnerabilidades de seguridad. Finalmente, para informar mejor el diseño de los futuros asistentes de código basados en IA, proporcionamos un análisis en profundidad del lenguaje y el comportamiento de interacción de los participantes, y lanzamos nuestra interfaz de usuario como un instrumento para realizar estudios similares en el futuro.