Problema 3202
En junio de 2021, GitHub anunció Copilot, una especie de autocompletado para código de computadora impulsado por OpenAI tecnología de generación de texto. Proporcionó una visión temprana del impresionante potencial de la [inteligencia artificial] generativa (https://www.wired.com/tag/artificial-intelligence/) para automatizar trabajos valiosos. Dos años después, Copilot es uno de los ejemplos más maduros de cómo la tecnología puede asumir tareas que antes tenían que hacerse a mano.
Esta semana Github publicó un informe, basado en datos de casi un millón de programadores que pagan para usar Copilot, que muestra cuán transformadora se ha vuelto la codificación generativa de IA. En promedio, aceptaron las sugerencias del asistente de IA alrededor del 30 por ciento de las veces, lo que sugiere que el sistema es notablemente bueno para predecir código útil.
El gráfico anterior muestra cómo los usuarios tienden a aceptar más sugerencias de Copilot a medida que pasan más meses usando la herramienta. El informe también concluye que los codificadores mejorados con IA ven aumentar su productividad con el tiempo, según el hecho de que [un estudio anterior de Copilot] (https://arxiv.org/abs/2302.06590) informó un vínculo entre la cantidad de sugerencias aceptadas y la productividad de un programador. El nuevo informe de GitHub dice que las mayores ganancias de productividad se observaron entre los desarrolladores menos experimentados.
A primera vista, esa es una imagen impresionante de una tecnología novedosa que demuestra rápidamente su valor. Cualquier tecnología que mejore la productividad y aumente las habilidades de los trabajadores menos calificados podría ser una bendición para tanto a los individuos como a la economía en general. GitHub continúa ofreciendo algunas especulaciones al dorso del sobre, estimando que la codificación de IA podría aumentar el PIB mundial en $ 1,5 billones para 2030.
Pero el gráfico de GitHub que muestra a los programadores vinculándose con Copilot me recordó otro estudio del que me enteré recientemente, mientras conversaba con Talia Ringer, profesora de la Universidad de Illinois en Urbana-Champaign, sobre la relación de los programadores con herramientas como Copilot.
A finales del año pasado, un equipo de la Universidad de Stanford publicó un artículo de investigación que analizaba cómo el uso de un asistente de IA generador de código que construyeron afecta la calidad del código que producen las personas. Los investigadores descubrieron que los programadores que recibían sugerencias de IA tendían a incluir más errores en su código final; sin embargo, aquellos con acceso a la herramienta tendían a creer que su código era más seguro. "Probablemente hay beneficios y riesgos involucrados" con la codificación en conjunto con la IA, dice Ringer. "Más código no es mejor código".
Cuando consideras la naturaleza de la programación, ese hallazgo no es sorprendente. Como escribió Clive Thompson en un artículo de WIRED de 2022, Copilot puede parecer milagroso, pero sus sugerencias se basan en patrones en otros el trabajo de los programadores, que puede ser defectuoso. Estas conjeturas pueden crear errores que son endiabladamente difíciles de detectar, especialmente cuando te fascina lo buena que es la herramienta.
Sabemos por otras áreas de la ingeniería que los humanos pueden caer en una dependencia excesiva de la automatización. La Autoridad Federal de Aviación de EE. UU. ha advertido repetidamente que algunos pilotos se están volviendo tan dependientes del piloto automático que sus habilidades de vuelo se están atrofiando. Un fenómeno similar es familiar en los autos sin conductor, donde se requiere una vigilancia extraordinaria para protegerse contra accidentes raros pero [potencialmente mortales] (https://www.wired.com/story/uber-self-driving-car-fatal-crash/ ) fallas.
Esta paradoja puede ser fundamental para la historia en desarrollo de la IA generativa y hacia dónde nos llevará. La tecnología parece que ya está conduciendo una espiral descendente en la calidad del contenido web, ya que los sitios de buena reputación se inundan con escoria generada por IA, proliferan los sitios web de spam y los chatbots intentan estimular artificialmente la participación.
Nada de esto quiere decir que la IA generativa sea un fiasco. Cada vez hay más investigaciones que muestran cómo las herramientas de IA generativa pueden aumentar el rendimiento y la felicidad de algunos trabajadores, como [aquellos que atienden las llamadas de atención al cliente](https://www.wired.com/story/should-you- recibe-pago-por-enseñar-a-un-chatbot-a-hacer-tu-trabajo/). Algunos otros estudios tampoco encontraron un aumento en los errores de seguridad cuando los desarrolladores usan un asistente de IA. Y para su crédito, GitHub está investigando la cuestión de cómo codificar de manera segura con la asistencia de IA. En febrero anunció [una nueva función de Copilot que intenta detectar vulnerabilidades](https://github.blog/2023-02-14-github-copilot-now-has-a-better-ai-model-and-new- capacidades/#filtering-out-security-vulnerabilities-with-a-new-ai-system) generado por el modelo subyacente.
Pero los efectos complejos de la generación de código brindan una advertencia para las empresas que trabajan para implementar algoritmos generativos para otros casos de uso.
Los reguladores y legisladores que muestren más preocupación por la IA también deberían tomar nota . Con tanto entusiasmo por el potencial de la tecnología y especulaciones salvajes sobre cómo podría tomar el control del mundo—más sutil y aún más sustantivo la evidencia de cómo están funcionando las implementaciones de IA podría pasarse por alto. Casi todo en nuestro futuro estará respaldado por software, y si no tenemos cuidado, también podría estar plagado de errores generados por IA.