Incidentes Asociados
Incluso para los piratas informáticos más hábiles, puede tomar al menos una hora escribir un script para explotar una vulnerabilidad de software e infiltrarse en su objetivo. Pronto, una máquina podrá hacerlo en cuestión de segundos.
Cuando OpenAI lanzó la semana pasada su herramienta ChatGPT, que permite a los usuarios interactuar con un chatbot de inteligencia artificial, el investigador de seguridad informática Brendan Dolan-Gavitt se preguntó si podría indicarle que escribiera código malicioso. Entonces, pidió el modelo para resolver un desafío simple de capturar la bandera.
El resultado fue casi notable. ChatGPT reconoció correctamente que el código contenía una vulnerabilidad de desbordamiento de búfer y escribió un fragmento de código que aprovechaba la falla. Si no fuera por un error menor, la cantidad de caracteres en la entrada, el modelo habría resuelto el problema perfectamente.
El desafío que Dolan-Gavitt presentó a ChatGPT era básico, uno que presentaría a los estudiantes al comienzo de un curso de análisis de vulnerabilidades, y el hecho de que fracasó no inspira confianza en la capacidad de los modelos de lenguaje grandes, que proporcionan la base. para que los bots de IA respondan a consultas humanas, para escribir código de calidad. Pero después de detectar el error, Dolan-Gavitt solicitó al modelo reexaminar la respuesta y, esta vez, ChatGPT acertó.
Por ahora, ChatGPT está lejos de ser perfecto para escribir código e ilustra muchas de las deficiencias de confiar en las herramientas de IA para escribir código. Pero a medida que estos modelos se vuelven más sofisticados, es probable que desempeñen un papel cada vez más importante en la escritura maliciosa código.
"El código es en gran medida una tecnología de doble uso", dijo Dolan-Gavitt, profesor asistente en el Departamento de Ingeniería y Ciencias de la Computación de la Universidad de Nueva York. "Casi todo lo que hace una pieza de malware es algo que también haría una pieza de software legítima".
"Si no es ChatGPT, entonces un modelo en los próximos dos años podrá escribir código para vulnerabilidades de software del mundo real", agregó.
Desde que OpenAI lo lanzó, ChatGPT ha asombrado a los usuarios, escribiendo ensayos universitarios breves, cartas de presentación, ensayos de admisión, y una extrañamente aceptable escena de Seinfeld en la que [Jerry necesita aprender el algoritmo de clasificación de burbujas](https://twitter.com/goodside /estado/1598077257498923010).
ChatGPT no representa una revolución en el aprendizaje automático como tal sino en cómo los usuarios interactúan con él. Las versiones anteriores de los modelos de lenguaje grande de OpenAI requieren que los usuarios soliciten una entrada al modelo. ChatGPT, que se basa en una versión optimizada de GPT-3.5, el modelo de lenguaje grande insignia de OpenAI, hace que sea mucho más fácil interactuar con ese modelo al permitir mantener una conversación con una IA altamente capacitada.
Los grandes modelos de lenguaje, como el de OpenAI, se basan en grandes volúmenes de datos extraídos de Internet y de libros; GPT-3, por ejemplo, entrenado un cuerpo de casi 500 000 millones los llamados tokens, y luego usar herramientas estadísticas para predecir las formas más probables de completar consultas o responder preguntas. Esos datos incluyen una gran cantidad de código informático, lo que OpenAI describe como "decenas de millones de repositorios públicos", desde sitios como foros de StackExchange y GitHub, lo que le da al modelo la capacidad de imitar las habilidades de programadores altamente capacitados.
Desde una perspectiva de ciberseguridad, los riesgos que plantean los LLM son de doble filo. Por un lado, estos modelos pueden producir código malicioso; por el otro, son propensos a errores y corren el riesgo de insertar código vulnerable. OpenAI parece consciente de ambos lados de este riesgo.
En un documento que examina el modelo de escritura de código de la empresa conocido como Codex, que impulsa el asistente Co-Pilot de GitHub, los investigadores de OpenAI observaron que el modelo "puede producir vulnerabilidades o código desalineado" y que si bien "los futuros modelos de generación de código pueden ser capacitados para producir un código más seguro que el desarrollador promedio", llegar allí "está lejos de ser seguro".
Los investigadores agregaron que si bien Codex, que desciende del mismo modelo que ChatGPT, podría "utilizarse indebidamente para ayudar al ciberdelito", las capacidades actuales del modelo "no reducen sustancialmente la barrera de entrada para el desarrollo de malware". Sin embargo, esa compensación puede cambiar a medida que avanzan los modelos, y en un tweet durante el fin de semana, el CEO de OpenAI, Sam Altman, citó la ciberseguridad como uno de los principales riesgos. de una "IA peligrosamente fuerte".
OpenAI no respondió a las preguntas sobre cómo está abordando las preocupaciones de ciberseguridad con ChatGPT, ni qué tenía en mente Altman con respecto a los futuros riesgos de ciberseguridad que plantea la IA.
Desde el lanzamiento de ChatGPT, los investigadores y programadores han estado publicando ejemplos boquiabiertos del modelo[ resultando código de calidad](https://twitter .com/amasad/status/1598042665375105024), pero después de una inspección más cercana, como en el ejemplo del desbordamiento de búfer de Dolan-Gavitt, el código de ChatGPT a veces contiene errores.
"Creo que es realmente bueno para encontrar cosas que son 95% correctas", dijo Stephen Tong, investigador de seguridad y fundador de la firma de seguridad cibernética Zellic. "¿Sabes que hay personas que no saben cómo codificar, pero simplemente copian y pegan desde Stack Overflow, y simplemente funciona? Es algo así".
El código mal escrito por los asistentes de IA representa uno de los principales riesgos del cambio hacia los LLM en el desarrollo de software. La base de código en la que se capacita a los asistentes de IA contiene una cantidad de errores (a menudo difíciles de determinar), y al recibir capacitación en ese cuerpo de trabajo, los LLM corren el riesgo de replicar estos errores e insertarlos en un código ampliamente implementado.
En un estudio sobre el rendimiento de seguridad de Copilot, que impulsa la tecnología OpenAI, el modelo tuvo un desempeño pésimo. En ese estudio, los investigadores impulsaron a Copilot con 89 escenarios relevantes para la seguridad, produciendo casi 1700 programas. Un 40% de ellos eran vulnerables.
Ese código puede estar a la par con lo que produciría un humano. "¿Es el código peor que un pasante de ingeniería de software de primer año? Probablemente no", dijo Hammond Pearce, profesor de informática de la Universidad de Nueva York, coautor del estudio con Dolan-Gavitt y otros.
Eso significa que los programadores deben desconfiar del código producido por un asistente de IA, cuyos errores podrían ser aprovechados fácilmente por los atacantes.
Menos de una semana después de la introducción de ChatGPT, la herramienta se ha vuelto inmediatamente popular entre los programadores, pero produce un código tan propenso a errores que [ha sido prohibido](https://www.theverge.com/2022/12/5/23493932 /chatgpt-ai-generated-answers-temporarily-banned-stack-overflow-llms-dangers) en Stack Overflow, un foro de preguntas y respuestas para programadores. "Si bien las respuestas que produce ChatGPT tienen una alta tasa de ser incorrectas, por lo general lucen como podrían _ser buenas y las respuestas son _muy_fáciles de producir", escribieron los moderadores, y el énfasis aquí es suyo, al anunciar la decisión.
Entonces, ¿podrían usarse los LLM para escribir código malicioso que aproveche las vulnerabilidades ya existentes?
Debido a su dependencia de los datos existentes para responder a las indicaciones, los investigadores de seguridad cibernética se muestran escépticos por ahora de que se utilicen grandes modelos de lenguaje para escribir códigos maliciosos innovadores. "Escribir exploits, especialmente los modernos, requiere la invención y el uso de nuevas técnicas", dijo Matt Suiche, director de memoria, respuesta a incidentes e I + D en Magnet Forensics. "Esto no es algo que la IA pueda hacer todavía".
Consciente del riesgo de que ChatGPT pueda usarse para escribir exploits, OpenAI ha establecido algunas medidas de seguridad en torno al uso de la herramienta para escribir malware. Cuando se le pide que escriba un exploit de ejecución remota de código sin hacer clic para el iPhone de Apple, un código que obtendría grandes sumas de dinero en el mercado negro y podría usarse para llevar a cabo una vigilancia invasiva, ChatGPT informa al usuario que "crear o usar exploits es ilegal y puede causar daño a individuos y sistemas, por lo que no es algo con lo que pueda ayudar".
Pero estas restricciones son imperfectas. Las funciones de un software malicioso (establecer conexiones de red o cifrar el contenido de un archivo, por ejemplo) también las realiza el software legítimo. La diferenciación entre software legítimo y malicioso suele ser una cuestión de intención, y eso hace que los LLM sean vulnerables al uso indebido.
Benjamin Tan, científico informático de la Universidad de Calgary, dijo que pudo eludir algunas de las salvaguardas de ChatGPT al pedirle al modelo que produjera software pieza por pieza que, una vez ensamblado, podría tener un uso malicioso. "No sabe que cuando lo pones todo junto está haciendo algo que no debería estar haciendo", dijo Tan.
Incluso si los LLM no pueden escribir sus propios exploits por ahora, podrían usarse para modificar el malware existente y crear variantes. La creación de variantes podría usarse para eludir el análisis de firmas o para imitar el estilo de escritura de código de otro atacante, lo que dificulta la atribución de ataques, dijo Pearce.
A medida que proliferan los grandes modelos de lenguaje, es razonable pensar que jugarán un papel en el desarrollo de exploits. Por ahora, probablemente sea más barato o más fácil para los atacantes escribir sus propios exploits, pero a medida que mejoran las defensas y disminuyen los costos de los LLM, hay buenas razones para creer que herramientas como ChatGPT desempeñarán un papel clave en el desarrollo de exploits.
Parte de la investigación de Tan consiste en ajustar modelos disponibles públicamente y "si tuviera un conjunto suficiente de muestras, podría entrenar estas cosas para escupir malware", dice. "Solo depende de encontrar los datos de entrenamiento".