Incidentes Asociados
Los mensajes de spam son anteriores a la propia web, y la IA generativa le ha dado una mayor fluidez, generando estafas ingeniosas y localizadas, y permitiendo a los delincuentes acceder a regiones y dialectos que antes ignoraban.
Una de las señales de alerta que tradicionalmente identificaban el spam, incluidos los intentos de phishing, era la ortografía y la sintaxis incorrectas. Sin embargo, el uso de la IA generativa ha cambiado esto al eliminar la intervención humana.
"Supongo que, en este momento, probablemente la mitad del spam que recibimos está escrito por IA generativa; la cantidad de errores ortográficos y gramaticales ha disminuido drásticamente", declaró Chester Wisniewski, CISO global de la empresa británica de seguridad Sophos, a The Register durante la Conferencia RSA de esta semana. He bromeado sobre esto varias veces, pero si la gramática y la ortografía son perfectas, probablemente sea una estafa, porque incluso los humanos cometen errores la mayoría de las veces.
La IA también ha ampliado el alcance geográfico del spam y el phishing. Cuando los humanos eran los principales creadores de este tipo de contenido, los delincuentes se limitaban a los idiomas comunes para llegar a la mayor audiencia con el mínimo esfuerzo. Pero, explicó Wisniewski, la IA facilita mucho la redacción de correos electrónicos en diferentes idiomas.
Puso un ejemplo de su Canadá natal. Los residentes de Quebec, provincia de mayoría francesa, pueden identificar rápidamente las notas de spam porque suelen estar escritas en francés tradicional, en lugar de quebequense. Sin embargo, los sistemas de IA pueden generar fácilmente un quebequense convincente, lo que facilita la captura de víctimas.
Se observa una tendencia similar con el spam en portugués. Dado que la población de Brasil es aproximadamente 20 veces mayor que la de Portugal, los estafadores históricamente han favorecido el portugués brasileño en sus campañas. Ahora, con la IA capaz de producir contenido en portugués europeo, a los residentes de Portugal les resulta cada vez más difícil discernir los intentos de phishing elaborados en su idioma local.
"Desde la perspectiva de las empresas criminales, esto ha abierto un mundo nuevo", declaró Kevin Brown, director de operaciones de la consultora de seguridad NCC Group, a The Register.
"¿A qué viene todo el entrenamiento en phishing que hemos impartido a lo largo de los años? Las obviedades, la gramática deficiente, la urgencia, lo obvio. De la noche a la mañana, la IA ha dicho: '¿Sabes qué? Voy a escribir algo con buen lenguaje, buena puntuación y en un idioma local'".
Lo mismo ocurre con las estafas románticas, también conocidas como matanza de cerdos. Los chatbots de IA han demostrado ser muy eficaces para seducir a las víctimas haciéndoles creer que están siendo cortejadas por una pareja atractiva, al menos durante las fases iniciales.
Wisniewski afirmó que los chatbots de IA pueden gestionar fácilmente las fases iniciales de las estafas, registrando interés y mostrando empatía. Entonces, un operador humano toma el control y comienza a robarle fondos a la víctima, pidiéndole ayuda financiera o animándola a invertir en esquemas Ponzi.
No confíes en lo que oyes
Sobre los deepfakes, Wisniewski afirmó que las versiones de audio de avatares de IA ya están engañando a las víctimas en las empresas. Por ejemplo, los estafadores pueden llamar a todo el equipo de soporte con una voz generada por IA que imita a la de alguien del departamento de TI, pidiendo una contraseña hasta que una víctima cede.
"Se pueden hacer deepfakes de audio en tiempo real por muy poco dinero", afirmó.
Sin embargo, Wisniewski expresó su escepticismo sobre los deepfakes de vídeo en tiempo real, haciendo referencia específicamente a un caso ampliamente difundido de febrero pasado, en el que un empleado de Hong Kong fue presuntamente engañado para transferir 25 millones de dólares a estafadores mediante una videollamada con un deepfake del director financiero. Sugirió que es mucho más probable que alguien simplemente se equivocara de estrategia y buscara culpar a la última tendencia en lugar de admitir su incompetencia.
Señaló que incluso las grandes empresas de IA, con presupuestos multimillonarios, aún no han superado el reto de crear avatares de vídeo en tiempo real convincentemente interactivos. La idea de que algunos delincuentes pudieran construir un modelo para hacerlo ellos mismos no era realista. Pero es solo cuestión de tiempo.
"Si seguimos la misma trayectoria de las falsificaciones profundas de audio, estamos a dos años de que los delincuentes las tengan a un precio económico, y a tres años de que nuestro tío menos querido las haga como broma en Facebook", dijo Wisniewski.
Sin embargo, Brown discrepó, afirmando que los pentesters del Grupo NCC habían tenido cierto éxito en el ámbito de las falsificaciones de vídeo.
"Hemos podido realizar algunas falsificaciones profundas de vídeo en casos de uso específicos. Pero estos son profesionales que llevan años en esto", dijo. Podemos hacerlo, pero se industrializará con el tiempo.
Tanto Brown como Wisniewski coincidieron en que habrá una necesidad apremiante de verificación personal en las comunicaciones que trascienda los sistemas establecidos.