Incidentes Asociados
OpenAI lanzó la última versión de su software de aprendizaje automático, GPT-4, con gran fanfarria esta semana. Una de las características que la compañía destacó sobre la nueva versión fue que se suponía que tenía reglas que la protegían del uso de los ciberdelincuentes. Sin embargo, en cuestión de días, los investigadores dicen que lo han engañado para crear malware y ayudarlos a crear correos electrónicos de phishing, tal como lo habían hecho con la iteración anterior del software de OpenAI, ChatGPT] (https://www.forbes.com /sites/thomasbrewster/2023/01/06/chatgpt-cybercriminal-malware-female-chatbots/). En el lado positivo, también pudieron usar el software para reparar agujeros en las defensas cibernéticas.
Los investigadores de la empresa de seguridad cibernética Check Point le mostraron a Forbes cómo evitar los bloqueos de OpenAI en el desarrollo de malware simplemente eliminando la palabra "malware" en una solicitud. Luego, GPT-4 los ayudó a crear un software que recopilaba archivos PDF y los enviaba a un servidor remoto. Fue más allá, dando a los investigadores consejos sobre cómo hacer que se ejecute en una PC con Windows 10 y hacer que sea un archivo más pequeño, para que pueda ejecutarse más rápido y tener menos posibilidades de ser detectado por el software de seguridad.
Para que GPT-4 ayudara a crear correos electrónicos de phishing, los investigadores adoptaron dos enfoques. En el primero, usaron GPT-3.5, que no bloqueaba las solicitudes para crear mensajes maliciosos, para escribir un correo electrónico de phishing haciéndose pasar por un banco legítimo. Luego solicitaron a GPT-4, que inicialmente se había negado a crear un mensaje de phishing original, para mejorar el lenguaje. En el segundo, solicitaron asesoramiento sobre cómo crear una campaña de concientización sobre phishing para una empresa y solicitaron una plantilla para un correo electrónico de phishing falso, que la herramienta proporcionó debidamente.
“GPT-4 puede empoderar a los malos actores, incluso a los no técnicos, con las herramientas para acelerar y validar su actividad”, señalaron los investigadores de Check Point en su informe, entregado a Forbes antes de su publicación. “Lo que estamos viendo es que GPT-4 puede servir tanto a buenos como a malos actores. Los buenos actores pueden usar GPT-4 para crear y unir código que sea útil para la sociedad; pero simultáneamente, los malos actores pueden usar esta tecnología de IA para la ejecución rápida del delito cibernético”.
Sergey Shykevich, gerente del grupo de amenazas en Check Point, dijo que parecía que las barreras para evitar que GPT-4 generara phishing o código malicioso eran en realidad más bajas que en versiones anteriores. Sugirió que eso puede deberse a que la compañía confía en el hecho de que actualmente solo los usuarios premium tienen acceso. Sin embargo, agregó, OpenAI debería haber esperado tales soluciones. “Creo que están tratando de prevenirlos y reducirlos, pero es un juego del gato y el ratón”, agregó.
Daniel Cuthbert, investigador de seguridad cibernética y miembro de la junta de revisión de la conferencia de piratería Black Hat, dice que parece que GPT-4 podría ayudar a aquellos con poco conocimiento técnico a crear herramientas maliciosas. “Si eres realmente malo en las cosas, esto realmente ayuda. Te lo da en plato”, dijo.
El mismo OpenAI, en un documento publicado junto con GPT-4 a principios de esta semana, admitió que la herramienta podría reducir el costo de "ciertos pasos de un ciberataque exitoso, como a través de la ingeniería social o mediante la mejora de las herramientas de seguridad existentes”.
Si eres realmente malo en cosas, esto realmente ayuda. Te lo da en plato.
Daniel Cuthbert, miembro de la junta de revisión de la conferencia de hackers Black Hat
Pero los expertos en seguridad cibernética empleados por OpenAI para probar su chatbot inteligente antes del lanzamiento descubrieron que tenía "limitaciones significativas para las operaciones de seguridad cibernética", según el documento. “No mejora las herramientas existentes para el reconocimiento, la explotación de vulnerabilidades y la navegación en la red, y es menos eficaz que las herramientas existentes para actividades complejas y de alto nivel como la identificación de nuevas vulnerabilidades”, escribió OpenAI. Sin embargo, los piratas informáticos descubrieron que GPT4 "era efectivo para redactar contenido realista de ingeniería social".
“Para mitigar posibles usos indebidos en esta área, hemos capacitado modelos para rechazar solicitudes de ciberseguridad maliciosas y escalamos nuestros sistemas de seguridad internos, incluso en monitoreo, detección y respuesta”, agregó OpenAI en el documento.
La compañía no había respondido a las solicitudes de comentarios sobre por qué los investigadores de Check Point habían podido eludir rápidamente algunas de esas mitigaciones.
Si bien puede ser fácil jugar con los modelos de OpenAI, "no está haciendo nada que nunca se haya hecho", dice Cuthbert. Un buen hacker ya sabrá cómo hacer mucho de lo que OpenAI puede hacer sin necesidad de soporte de inteligencia artificial, dijo. Y los sistemas de detección modernos también deberían poder detectar los tipos de malware que ChatGPT ayuda a crear, dado que se aprendió de ejemplos anteriores vistos en Internet, agrega.
Cuthbert está muy entusiasmado con lo que GPT-4 puede hacer por la defensa. Después de que lo ayudó a detectar errores en el software, también ofreció soluciones rápidas con fragmentos de código reales que podía copiar y pegar en su programa, arreglándolo en segundos. “Me gusta mucho la refactorización automática”, dice. “El futuro es genial”.