Incidentes Asociados
WASHINGTON (AP) — Un equipo de investigadores ha descubierto lo que afirman es el primer caso documentado del uso de inteligencia artificial para dirigir una campaña de piratería informática de forma prácticamente automatizada.
La empresa de IA Anthropic anunció esta semana que desarticuló una operación cibernética que sus investigadores vinculan con el gobierno chino. La operación implicaba el uso de un sistema de inteligencia artificial para dirigir las campañas de piratería informática, lo que los investigadores calificaron como un desarrollo preocupante que podría ampliar considerablemente el alcance de los piratas informáticos equipados con IA.
Si bien la preocupación por el uso de la IA para dirigir operaciones cibernéticas no es nueva, lo que resulta inquietante de esta nueva operación es el grado en que la IA logró automatizar parte del trabajo, según los investigadores.
"Aunque predijimos que estas capacidades seguirían evolucionando, lo que nos ha sorprendido es la rapidez con la que lo han hecho a gran escala", escribieron en su informe.
La operación tenía como objetivo empresas tecnológicas, instituciones financieras, empresas químicas y agencias gubernamentales. Los investigadores escribieron que los hackers atacaron «aproximadamente treinta objetivos globales y tuvieron éxito en un número reducido de casos». Anthropic detectó la operación en septiembre y tomó medidas para desmantelarla y notificar a las partes afectadas.
Anthropic señaló que, si bien los sistemas de IA se utilizan cada vez más en diversos ámbitos, tanto laborales como de ocio, también pueden ser utilizados como armas por grupos de hackers que trabajan para adversarios extranjeros. La empresa con sede en San Francisco, creadora del chatbot de IA generativa Claude, es una de las muchas empresas de desarrollo tecnológico que ofrecen «agentes» de IA que van más allá de la capacidad de un chatbot para acceder a herramientas informáticas y realizar acciones en nombre de una persona.
«Los agentes son valiosos para el trabajo diario y la productividad, pero en manos equivocadas pueden aumentar sustancialmente la viabilidad de los ciberataques a gran escala», concluyeron los investigadores. "Es probable que estos ataques aumenten su eficacia."
Un portavoz de la embajada china en Washington no respondió de inmediato a la solicitud de comentarios sobre el informe.
Microsoft advirtió a principios de este año que los adversarios extranjeros estaban adoptando cada vez más la IA para que sus ciberataques fueran más eficientes y requirieran menos mano de obra. El jefe del panel de seguridad de OpenAI, que tiene la potestad de detener el desarrollo de la IA del creador de ChatGPT, declaró recientemente a The Associated Press que está vigilando los nuevos sistemas de IA que otorgan a los ciberdelincuentes "capacidades mucho mayores".
Los adversarios de Estados Unidos, así como las bandas criminales y las empresas de piratería informática, han explotado el potencial de la IA, utilizándola para automatizar y mejorar los ciberataques, para difundir desinformación incendiaria y para penetrar sistemas sensibles. La IA puede, por ejemplo, traducir correos electrónicos de phishing mal redactados a un inglés fluido, así como generar clones digitales de altos funcionarios gubernamentales.
Anthropic afirmó que los hackers lograron manipular a Claude mediante técnicas de "jailbreaking" que consisten en engañar a un sistema de IA para que eluda sus medidas de seguridad contra comportamientos dañinos, en este caso, haciéndose pasar por empleados de una empresa legítima de ciberseguridad.
"Esto pone de manifiesto un gran desafío para los modelos de IA, y no se limita a Claude: la necesidad de que los modelos distingan entre la realidad ética de una situación y los escenarios ficticios que los hackers y otros podrían querer crear", declaró John Scott-Railton, investigador sénior de Citizen Lab.
El uso de la IA para automatizar o dirigir ciberataques también resultará atractivo para grupos de hackers más pequeños y hackers solitarios, quienes podrían usar la IA para ampliar el alcance de sus ataques, según Adam Arellano, CTO de campo en Harness, una empresa tecnológica que utiliza IA para ayudar a sus clientes a automatizar el desarrollo de software.
"La velocidad y la automatización que proporciona la IA es lo que resulta un tanto inquietante", afirmó Arellano. "En lugar de que un humano con habilidades altamente desarrolladas intente vulnerar sistemas protegidos, la IA acelera esos procesos y supera los obstáculos con mayor consistencia".
Los programas de IA también desempeñarán un papel cada vez más importante en la defensa contra este tipo de ataques, señaló Arellano, demostrando cómo la IA y la automatización que permite beneficiarán a ambas partes.
La reacción a la revelación de Anthropic fue diversa: algunos la consideraron una estrategia de marketing para el enfoque de Anthropic en la defensa de la ciberseguridad, mientras que otros celebraron su advertencia.
«Esto nos va a destruir —antes de lo que pensamos— si no convertimos la regulación de la IA en una prioridad nacional mañana mismo», escribió en redes sociales el senador estadounidense Chris Murphy, demócrata de Connecticut.
Esto provocó críticas de Yann LeCun, científico jefe de IA de Meta y defensor de los sistemas de IA de código abierto de la empresa matriz de Facebook, que, a diferencia de los de Anthropic, hacen que sus componentes clave sean accesibles al público de una manera que algunos defensores de la seguridad de la IA consideran demasiado arriesgada.
«Están siendo manipulados por quienes buscan controlar la regulación», escribió LeCun en respuesta a Murphy. «Están asustando a todo el mundo con estudios dudosos para que los modelos de código abierto sean regulados hasta su desaparición».