Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 6314

Incidentes Asociados

Incidente 123626 Reportes
Quantum AI Scam Reportedly Used AI-Generated Celebrity Endorsements and Spoofed Media Sites to Solicit Investments

Loading...
La dinámica emergente de las campañas de estafas con deepfakes en la web
unit42.paloaltonetworks.com · 2024

Nota del editor de AIID: Esta es una versión ligeramente abreviada del informe. Para consultar el informe completo, visite la fuente original. Resumen ejecutivo ----------------- Nuestros investigadores descubrieron docenas de campañas de estafa que utilizan videos deepfake con la imagen de diversas figuras públicas, incluidos directores ejecutivos, presentadores de noticias y altos funcionarios gubernamentales. Estas campañas aparecen en inglés, español, francés, italiano, turco, checo y ruso. Cada campaña suele dirigirse a posibles víctimas en un solo país, como Canadá, México, Francia, Italia, Turquía, República Checa, Singapur, Kazajistán y Uzbekistán. Debido a sus similitudes infraestructurales y tácticas, creemos que muchas de estas campañas probablemente provienen de un único grupo de ciberdelincuentes. Hemos observado que este grupo utiliza videos deepfake para difundir esquemas de inversión falsos y supuestos sorteos gubernamentales. Hasta junio de 2024, habíamos descubierto cientos de dominios utilizados para promover estas campañas. Según nuestra telemetría de DNS pasivo (pDNS), cada dominio ha recibido un promedio de 114 000 accesos a nivel mundial desde su lanzamiento. Comenzando con una campaña que promocionaba un esquema de inversión llamado Quantum AI, estudiamos la infraestructura subyacente para rastrear su propagación a lo largo del tiempo. Mediante esta investigación, descubrimos varias campañas adicionales de deepfake con temáticas completamente diferentes, creadas y promovidas por el mismo grupo de ciberdelincuentes. Estas campañas fraudulentas adicionales utilizaban distintos idiomas y la imagen de diferentes figuras públicas, lo que sugiere que cada una está dirigida a un público objetivo distinto. A pesar del uso de IA generativa (GenAI) en estas campañas, las técnicas de investigación tradicionales siguen siendo útiles para identificar la infraestructura de alojamiento utilizada por estos ciberdelincuentes. A medida que aumenta el uso malicioso de la tecnología deepfake, también deben intensificarse los esfuerzos de los defensores para detectar y prevenir de forma proactiva este tipo de ataques. Los clientes de Palo Alto Networks están mejor protegidos contra estos ataques gracias al Filtrado Avanzado de URL, que seguirá detectando y bloqueando los sitios web utilizados para propagar campañas de estafa basadas en deepfakes. | Temas relacionados de Unit 42 | Estafas, Phishing | | --- | --- | Descubriendo la infraestructura de alojamiento de Quantum AI --------------------------------------------- Para estudiar la campaña de Quantum AI, decidimos analizar la infraestructura de los sitios web que alojan estos ataques. Partiendo de un conjunto inicial de detecciones de nuestro sistema de detección de vídeos deepfake, buscamos sitios web adicionales que distribuyeran vídeos maliciosos conocidos. Observamos varios vídeos relacionados con Quantum AI que los atacantes compartían ampliamente a través de sitios web alojados en dominios recién registrados. Tras una investigación más exhaustiva, identificamos que los vídeos se alojaban principalmente en un único dominio: Belmar-marketing[.]online. A continuación, buscamos otras páginas web que ofrecieran archivos de vídeo desde este dominio y que también contuvieran palabras clave como «Inteligencia Artificial Cuántica» en su código HTML. Mediante este proceso, descubrimos decenas de páginas fraudulentas que utilizaban estos vídeos como señuelo. Posteriormente, utilizamos el contenido de estas páginas web, así como las rutas de los archivos de vídeo, para crear firmas que nos permitieran ampliar nuestra capacidad de detección. (Consulte la sección Indicadores de Compromiso para ver ejemplos de URL). En mayo de 2024, observamos que un número creciente de vídeos de Quantum AI se alojaban también en otros dominios, incluidos los siguientes: - Ai-usmcollective[.]click - Fortunatenews[.]com - Fiirststreeteet[.]top. También descubrimos algunos sitios web creados con plataformas de creación de sitios web que promocionaban la misma estafa de Quantum AI. En estos casos, los atacantes volvieron a alojar el vídeo directamente en el sitio web mediante la plataforma de creación de sitios web, no en uno de los dominios de alojamiento de vídeo compartidos mencionados anteriormente. ### Ejemplos de vídeos y páginas web de Quantum AI En las figuras 1 a 7, presentamos ejemplos de páginas web y vídeos de la estafa de Quantum AI descubiertos mediante nuestro sistema de análisis de vídeo y nuestra investigación basada en la infraestructura. En la mayoría de estos ejemplos, la página web fraudulenta estaba alojada en un dominio recién registrado, y el vídeo, como archivo .mp4, en uno de los dominios de alojamiento de vídeo compartido mencionados anteriormente (p. ej., belmar-marketing[.]online). En la mayoría de los casos, los atacantes parecen haber partido de un vídeo legítimo y añadido su propio audio generado por IA. Finalmente, utilizaron tecnología de sincronización labial para modificar el movimiento de los labios del hablante y que coincidiera con el audio generado por IA. La mayoría de los vídeos utilizan a Elon Musk como figura pública, aunque también descubrimos algunos ejemplos con otras figuras públicas: Tucker Carlson, Lee Hsien Loong (ex primer ministro de Singapur) y Tharman Shanmugaratnam (presidente de Singapur desde junio de 2024). ![ Página web promocional de SmartInvests con un vídeo de una persona hablando en un escenario, iluminada con luz azul, con un texto superpuesto que anima a invertir para cambiar el mundo y hacerse rico rápidamente. El texto invita al lector a unirse a la revolución cuántica. Figura 1. Huerwlleiss-herton[.]pro, un sitio web que utiliza un video deepfake de Elon Musk para promocionar la estafa de la IA cuántica. La pantalla muestra una imagen dividida con un banner promocional de "Tucker Carlson Originals" con Tucker Carlson a la izquierda y Elon Musk a la derecha, anunciando un evento de entrevista. En la parte derecha de la pantalla, hay una interfaz web para crear una cuenta con campos para nombre, correo electrónico, país y número de teléfono. Figura 2. Bitquantumai.com, un sitio web que utiliza un vídeo deepfake de Elon Musk y Tucker Carlson para promocionar la estafa de Quantum AI. ![ Elon Musk presentando en un evento, con una imagen de fondo proyectada y público visible. La página web también muestra una superposición con una solicitud de inicio de sesión de QuantumAI. El logotipo de Tesla está en la parte inferior derecha de la pantalla. Hay un botón de actualización CAPTCHA. Figura 3. Quantumal[.]xyz, un sitio web utilizado para promocionar la estafa de Quantum AI. La página web solicita un código de referencia para iniciar sesión. ![ Elon Musk presentando. Logotipo de QuantumAI. Leyenda que dice "EL PRIMER COMPUTADOR CUÁNTICO DEL MUNDO." Figura 4. Captura de pantalla de un video deepfake de Elon Musk utilizado para promocionar la estafa de Quantum AI. En el video, el deepfake de Elon afirma que Quantum AI es "el primer software de computación cuántica del mundo desarrollado por su equipo con una tasa de éxito del 91%". Elon Musk siendo entrevistado. Logotipo del canal FOX News. Leyenda sobre el potencial de Quantum AI para revolucionar la industria. Figura 5. Otra captura de pantalla de un video deepfake diferente de Elon Musk Vídeo deepfake utilizado para promocionar la estafa de Quantum AI.  Página principal del sitio web de QuantumAI con un banner promocional sobre convertir 250 dólares en 9000 dólares, una invitación a registrarse gratis y una ventana de reproducción de vídeo que muestra un segmento de noticias con un entrevistado, con la bandera de Singapur de fondo. Figura 6. Griffinware-tm.cloud, un sitio web que utiliza un vídeo deepfake de Lee Hsien Loong, ex primer ministro de Singapur, para promocionar la estafa de Quantum AI. ![ Una persona con traje está sentada en una mesa de noticias con las palabras "Quantum AI" debajo. El fondo presenta un fondo liso de color claro Figura 7. Captura de pantalla de un video deepfake de Tharman Shanmugaratnam, actual presidente de Singapur, utilizado para promocionar la estafa de Quantum AI. Descubrimiento y seguimiento de campañas deepfake ---------------------------------------- Tras investigar la campaña de estafa de Quantum AI, exploramos tendencias más amplias en torno a estas campañas deepfake en su conjunto. ### Descubrimiento de otras estafas deepfake Además de la estafa de Quantum AI, también investigamos otros videos presentes en estos dominios de alojamiento de videos. Al hacerlo, pudimos descubrir varias otras campañas de estafa (probablemente propagadas por el mismo grupo de ciberdelincuentes), muchas de las cuales utilizan videos deepfake como señuelo. Estos videos deepfake suelen utilizar la imagen de figuras públicas como directores ejecutivos, presentadores de noticias o altos funcionarios gubernamentales. Funcionarios. Descubrimos videos deepfake en varios idiomas, incluyendo inglés, español, francés, italiano, turco, checo y ruso. Cada campaña suele dirigirse a víctimas potenciales en un solo país, como Canadá, México, Francia, Italia, Turquía, República Checa, Singapur, Kazajistán y Uzbekistán. Al igual que la estafa de Quantum AI, estos videos añaden audio generado por IA a un video existente y utilizan herramientas de sincronización labial para alterar el movimiento de los labios del hablante y que coincida con el nuevo audio. Se solicita a los visitantes de estas páginas web que se registren con su nombre y número de teléfono, y se les indica que esperen una llamada de un gestor de cuentas o representante. En muchos de estos casos, descubrimos varios dominios recién registrados que alojaban el mismo contenido (y el mismo video deepfake). Esto significa que cada una de estas páginas web fraudulentas forma parte de una campaña más amplia, no es solo una página web aislada. Por ejemplo, en el caso de la estafa de KazMunayGas que se muestra a continuación en la Figura 8, encontramos estafadores que utilizaban el mismo video en varios dominios registrados recientemente, incluyendo: - Aigroundwork[.]top - Aitfinside[.]shop - Block4aischeme[.]top - Systemaigroundwork[.]shop La sección Indicadores de Compromiso proporciona una lista más completa de estos dominios.  Un presentador de noticias informa sobre un aumento financiero en los bancos kazajos debido a pagos de KazMunayGas, mostrado en una pantalla de computadora con múltiples pestañas de navegador abiertas. Figura 8. Coinframework[.]top, un sitio web fraudulento que utiliza un video manipulado por IA de un presentador de noticias kazajo para promocionar un sorteo falso iniciado por KazMunayGas, la empresa estatal de petróleo y gas de Kazajistán. Captura de pantalla de la página web del formulario de registro de Kyivstar, con campos para nombre y número de teléfono y un botón "Solicitar ahora". Debajo hay una sección de comentarios con el testimonio de un usuario sobre una transferencia de dinero rápida. Figura 9. Riseanalyze[.]click, un sitio web enlazado desde coinframework[.]top. Este sitio web contiene un formulario de registro para la estafa de KazMunayGas. Aunque los idiomas y los objetivos de suplantación de identidad de estas campañas de estafa son diferentes, comparten las siguientes similitudes: - Todas utilizan técnicas similares de deepfake - Tienen llamadas a la acción similares - Alojan sus vídeos en un pequeño conjunto compartido de dominios (que no parecen utilizarse para ningún otro propósito). (que alojar estos vídeos fraudulentos) Esto sugiere que estas campañas probablemente se deban a un único grupo de ciberdelincuentes. Presentamos algunos ejemplos seleccionados de estas campañas fraudulentas adicionales en las Figuras 10-15. Captura de pantalla del sitio web de TotalEnergies con un vídeo informativo donde una persona habla, con el Capitolio de los Estados Unidos de fondo. La página incluye texto en francés sobre recursos y riqueza nacionales, con fecha del 1 de abril de 2024. Figura 10. Invest-toolavenue[.]shop, un sitio web fraudulento que utiliza un vídeo manipulado por IA de Patrick Pouyanné (CEO de TotalEnergies) para promocionar un falso sorteo supuestamente creado por TotalEnergies, una multinacional francesa de energía y petróleo. Captura de pantalla de una página web en francés De "pokelawee.fr" con un formulario de "Inscripción" que solicita el "Nom de famille" (apellido) y un número de contacto, sobre un fondo naranja vibrante. El formulario contiene un cuadro de texto para ingresar los datos y un botón "Continuar". Hay una ventana emergente para traducir la página al inglés o al francés. (https://unit42.paloaltonetworks.com/wp-content/uploads/2024/08/word-image-498576-136451-11-1163x700.png) Figura 11. Invest-toolavenue[.]shop, continuación de la Figura 10.  El presidente Andrés Manuel López Obrador de México habla en un escritorio con la bandera mexicana desplegada al fondo y libros en estantes. Hay una ventana emergente para traducir la página al inglés o al francés. Figura 12. Capitalflow-skillful.shop, un sitio web fraudulento que utiliza un video manipulado con IA de Andrés Manuel López, presidente de México, para promocionar un falso "Proyecto de Sociedad Mexicana de Inversiones". Captura de pantalla de un sitio web que promociona un programa con un video insertado donde se ve a una persona hablando en un podio, con una bandera estadounidense de fondo. El sitio web está en italiano e incluye campos para nombre y correo electrónico para el registro. Figura 13. Untamedal.top, un sitio web fraudulento que utiliza un video manipulado con IA de Giorgia Meloni, primera ministra de Italia, para promocionar un falso Programa de inversión estatal llamado FinInvest. Interfaz de la página web del Banco Mundial con un titular sobre la inversión de europeos en bancos internacionales para diversificar y estabilizar sus inversiones. La parte derecha contiene un formulario de contacto que solicita nombre, apellidos, correo electrónico y número de teléfono, con un botón para enviar y convertirse en inversor. Figura 14. Hugeproject[.]shop, una página web fraudulenta con temática del Banco Mundial que utiliza un vídeo manipulado por IA de una mujer que afirma representar a un banco de inversión internacional. ![Persona sonriendo en un vídeo en pausa. A la derecha hay una sección "Sobre nosotros". Debajo, una calculadora de ingresos y el texto "¿Cuánto ganan los inversores al confiar en nosotros?"] Figura 15. Hugeproject[.]shop, continuación de la Figura 14. ### Actividad de la campaña a lo largo del tiempo Si bien estas campañas comenzaron hace aproximadamente un año, observamos un gran aumento en el número de dominios nuevos detectados (que se muestra en la Figura 16) en febrero de 2024. A diferencia de los dominios típicos de phishing o malware, estos dominios son relativamente longevos, con un tiempo de actividad promedio de 142 días.  Gráfico lineal que muestra el 'Número de dominios' durante los meses comprendidos entre julio de 2023 y mayo de 2024. El gráfico muestra fluctuaciones en el número de dominios, con un pico notable en febrero Figura 16. Número de dominios recién observados que alojan vídeos deepfake a lo largo del tiempo. La figura 17 muestra que el número de dominios activos aumentó exponencialmente hasta aproximadamente marzo de 2024, y el número total de dominios activos se ha mantenido estable hasta la fecha. Gráfico lineal que muestra el crecimiento mensual en el número de dominios desde julio de 2023 hasta junio de 2024, con aumentos significativos a partir de enero de 2024. El gráfico comienza en 7 dominios y alcanza un máximo de 175 dominios en junio de 2024. Figura 17. El número de Dominios activos que alojan vídeos deepfake a lo largo del tiempo. Además, resulta preocupante observar que estos dominios tienen un gran alcance, con un promedio de 114 000 accesos por dominio desde su lanzamiento, según la telemetría de pDNS. Es probable que la cifra real sea mucho mayor. #### Análisis de la infraestructura de alojamiento Siguiendo la tendencia actual de camuflar la actividad en infraestructuras de alojamiento compartido, el 86,7 % de estos dominios de campaña utilizan la misma red de distribución de contenido (CDN) popular. Múltiples direcciones IP de la CDN alojan el mismo contenido en distintas ubicaciones geográficas, siendo Estados Unidos, los Países Bajos y Rusia las tres principales. El uso de CDN dificulta atribuir la campaña a un actor malicioso o ubicación geográfica específicos. Observamos que los atacantes alojaban sus vídeos principalmente en un pequeño conjunto de dominios de su propiedad. Presumiblemente, lo hacían para evitar problemas de eliminación que podrían ocurrir en plataformas de alojamiento de vídeo más populares. Hasta abril de 2024, observamos que los vídeos deepfake se alojaban principalmente en belmar-marketing[.]online. Sin embargo, a partir de mayo de 2024, los atacantes comenzaron a rotar sus ubicaciones de alojamiento de vídeo con mayor frecuencia. Así, observamos que los vídeos ahora se alojaban principalmente en fiirststreeteet[.]top, ai-usmcollective[.]click y fortunenews[.]com. La búsqueda de páginas web que enlazan a vídeos alojados en estos dominios ha sido muy valiosa para rastrear la propagación de estas campañas hasta el momento. Continuaremos monitoreando nuevos dominios de alojamiento de videos a medida que avancen estas campañas. Cómo funciona la estafa de Quantum AI ----------------------------- Durante nuestra investigación, observamos publicaciones y anuncios que promocionaban Quantum AI en diversas plataformas de redes sociales (Figuras 18-20). Según el Centro Nacional Antiestafas de Australia (https://www.scamwatch.gov.au/news-alerts/scam-alert-fake-celebrity-online-investment-scams), los estafadores suelen usar primero este tipo de anuncios en redes sociales o artículos de noticias falsas para enlazar a páginas web fraudulentas que solicitan la información de contacto de la víctima.  Tweet fijado por la cuenta de Quantum Trading Post X. Elon Musk ha mostrado su apoyo a la revolución de Quantum AI, señalando un futuro en el que todos nos beneficiaremos. Esta tecnología de vanguardia promete redefinir el trading. Ganancias 100% garantizadas. Video de Elon Musk hablando. Logotipo de Quantum AI. Figura 18. Publicación en redes sociales con enlace a una página web fraudulenta de Quantum AI. Captura de pantalla de una publicación en redes sociales de 'ELON_MUSK_BOT3' con un fondo verde estampado y texto que promociona una oportunidad de inversión. La publicación invita a los miembros a contactar al administrador para establecer un plan de inversión, destacando la aceptación de diversas criptomonedas como Bitcoin, Ethereum y otras. Figura 19. Publicación en una plataforma de mensajería con enlace a una página web fraudulenta de Quantum AI. Figura 20. Publicación en redes sociales con un vídeo para promocionar la estafa de Quantum AI. Tras visitar la página web fraudulenta y rellenar un formulario de registro, uno de los estafadores llama a la víctima. En la llamada, le pide que pague unos 250 dólares para acceder a la plataforma. El estafador le indica que descargue una aplicación para «invertir» más dinero. Dentro de la aplicación, aparece un panel de control que muestra pequeñas ganancias. A partir de ahí, los estafadores continúan persuadiendo a la víctima para que deposite más dinero e incluso pueden permitirle retirar una pequeña cantidad para ganarse su confianza. Finalmente, cuando la víctima intenta retirar sus fondos, los estafadores exigen comisiones o alegan algún otro motivo (por ejemplo, problemas fiscales) para no poder devolverlos. Los estafadores pueden entonces bloquear la cuenta de la víctima y quedarse con los fondos restantes, provocando que la víctima pierda la mayor parte del dinero invertido en la plataforma. Panorama general de las estafas con deepfakes en la web ------------------------------------------------- Quantum AI no es la única estafa que utilizan los ciberdelincuentes con deepfakes. En esta sección, analizaremos otras técnicas y servicios que han estado utilizando. A principios de 2024, una empresa perdió 25 millones de dólares a manos de atacantes que utilizaron tecnología deepfake para suplantar la identidad de su director financiero en una videoconferencia. Si bien las videoconferencias manipuladas con deepfakes han recibido mucha atención a raíz de este ataque, las estafas con deepfakes en internet representan una amenaza emergente que los investigadores también deberían vigilar. Se prevé que 2024 sea el año con mayor participación electoral de la historia. Más de 60 países celebran elecciones importantes este año, lo que significa que aproximadamente la mitad de la población mundial podría verse directamente afectada por estos eventos. En respuesta, algunos investigadores han expresado su preocupación sobre el potencial de los deepfakes para promover la desinformación política. Sin embargo, el impacto de los deepfakes no se limita al ámbito político. Los ciberdelincuentes ya han estado creando y compartiendo videos deepfake con fines maliciosos. ### Deepfakes utilizados para promover estafas y ataques de phishing Desde la aparición de GenAI, los atacantes han utilizado deepfakes para difundir desinformación política e incluso para intensificar la captación de votantes. Por ejemplo, a principios de 2024, un consultor político demócrata utilizó un deepfake de audio de Joe Biden para disuadir a los votantes del estado de Nuevo Hampshire de participar en las próximas elecciones primarias. En India, algunos políticos alentaron activamente a sus seguidores a crear deepfakes para promover sus candidaturas. En 2022, un actor malicioso desconocido utilizó videos deepfake manipulados del presidente ucraniano Volodímir Zelenski como parte de una guerra de información en el conflicto ruso-ucraniano. Actualmente, observamos que los ciberdelincuentes también utilizan deepfakes para promover estafas y ataques de phishing. En los últimos meses, periodistas han observado estafas que suplantan la identidad de figuras como Elon Musk (véase la figura 21), Bill Gates y Warren Buffett para vender criptomonedas falsas, sorteos y otros esquemas de inversión. Estas estafas se crean con el objetivo final de robar fondos a las víctimas. (Nuestros tuits anteriores sobre este tema contienen más detalles). Elon Musk aparece en una transmisión de NBC hablando sobre las Monedas de la Libertad, con una imagen insertada de una moneda dorada. Figura 21. Captura de pantalla de un video deepfake de Elon Musk visto en patriotsmaga2024.com, un sitio web que promueve la venta de monedas falsas de la Libertad de Trump. Monedas." Anteriormente, estos atacantes podrían haber utilizado actores pagados para promover sus estafas (por ejemplo, creando videos que simulaban ser de un cliente que se beneficiaba de un esquema de inversión falso). Con la creciente popularidad y eficacia de las herramientas que utilizan IA para generar contenido (por ejemplo, imágenes, audio y video), los atacantes ahora pueden crear estos videos de una manera más económica y convincente. ### Deepfakes como servicio Nuestros investigadores han encontrado ciberdelincuentes que venden, discuten e intercambian herramientas y servicios de creación de deepfakes en foros, canales de chat de redes sociales y plataformas de mensajería instantánea. Estas herramientas y servicios ofrecen capacidades para generar contenido engañoso y malicioso, incluyendo audio, video e imágenes. El ecosistema que rodea la creación de deepfakes y las herramientas para deepfakes está activo y dinámico, y los ciberdelincuentes venden una variedad de opciones, desde herramientas de intercambio de rostros hasta videos deepfake. Las herramientas de intercambio de rostros como Swapface (que se muestra en la Figura 22) tienen precios que van desde gratuitas hasta más de 249 dólares al mes. Los ciberdelincuentes abusan de estas herramientas, publicando los vídeos que crean en diversas plataformas y redes sociales. Swapface ofrece filtros fáciles de usar e intercambio de rostros en tiempo real, lo que permite a los usuarios modificar o reemplazar rostros en los vídeos. Captura de pantalla de la página de precios de SWAPFACE que muestra varios planes de suscripción, desde un nivel gratuito hasta un plan Enterprise, detallando características como el número de rostros generados por día, el acceso del equipo y la ausencia de almacenamiento de rastreadores para cada nivel. Figura 22. Costo de la suscripción a las herramientas de Swapface. El uso delictivo de las herramientas y servicios de creación de deepfakes incluye las siguientes actividades: - Facilitar la creación de identidades falsas - Cometer fraude bancario - Orquestar campañas de desinformación - Eludir los controles de verificación de identidad del cliente - Realizar robo de criptomonedas. Estos servicios pueden manipular imágenes y audio con una precisión alarmante, lo que genera importantes problemas éticos y de seguridad. El costo de generar un video deepfake puede variar considerablemente, generalmente entre $60 y $500, lo que refleja la complejidad y la calidad de la falsificación solicitada. Como se observa en la Figura 23, también descubrimos canales en plataformas de mensajería que anuncian específicamente la creación de videos deepfake con fines fraudulentos.  Canal de Deepfakes de SM Crew. Las publicaciones muestran dos videos distintos. El perfil del canal muestra 37 suscriptores, un personaje de anime y a A$AP Rocky, información en cirílico y texto censurado.  Figura 23. Canal de plataforma de mensajería dedicado a servicios de generación de deepfakes. La accesibilidad y la variedad de precios convierten a los deepfakes en herramientas particularmente versátiles para actividades maliciosas, lo que plantea desafíos tanto para particulares como para instituciones que intentan protegerse contra el fraude y la desinformación. Conclusión ---------- A pesar del uso de GenAI en estas campañas, las técnicas de investigación tradicionales siguen siendo útiles para identificar la infraestructura de alojamiento utilizada por estos ciberdelincuentes. Dado que los ciberdelincuentes incrementan el uso de la tecnología deepfake, las organizaciones también deben defenderse proactivamente contra este tipo de ataques. Los investigadores de Palo Alto Networks continuarán supervisando estas campañas de estafa basadas en deepfakes y seguirán descubriendo e investigando otras campañas similares. De esta manera, podemos garantizar que nuestros clientes estén mejor protegidos mediante el Filtrado Avanzado de URL. Indicadores de Compromiso ------------------------ ### Ejemplos de Estafas con Deepfakes  Deepfake de Kevin O'Leary sentado a una mesa durante una entrevista televisiva, con un texto que dice: 'Los residentes canadienses están dejando sus trabajos de 9 a 5 con este bot de trading con IA' y un subtítulo que indica 'al menos 27.000 CAD al mes'. Figura 24. Captura de pantalla de un vídeo fraudulento que contiene un deepfake de Kevin O'Leary. Ejemplo 1 - URL de la página web: xtradgpt[.]online - URL del vídeo: hxxps://quontic[.]site/wp-content/uploads/2024/07/449030935_482215324194392_281914555774571171_n[.]mp4 - Idioma: Inglés - País objetivo: Canadá - Deepfake de: Kevin O'Leary (empresario canadiense) - Resumen: Promoción de un bot de trading con IA que permite a los ciudadanos canadienses ganar al menos 27.000 dólares canadienses al mes. Deepfake de Tharman Shanmugaratnam con traje de negocios, con texto superpuesto que indica "La posibilidad de ganar desde 8.000 dólares" en un estudio configuración. Figura 25. Captura de pantalla de un video fraudulento que contiene un deepfake de Tharman Shanmugaratnam (Primer Ministro de Singapur). Ejemplo 2 - URL de la página web: euphemiouslystner[.]life - URL del vídeo: hxxps://hemicdn[.]com/1501-1400-3505[.]mp4 - Idioma: Inglés - País objetivo: Singapur - Deepfake de: Tharman Shanmugaratnam (Primer Ministro de Singapur) - Resumen: Promoción de un esquema de inversión falso llamado Quantum AI. Deepfake de Patrick Pouyanné, hablando sobre una plataforma de inversión respaldada por el gobierno y garantizada por el Banco de Francia, con el Capitolio de EE. UU. de fondo y el logotipo de TotalEnergies en la esquina. Figura 26. Captura de pantalla de un vídeo fraudulento que contiene un vídeo deepfake de Patrick Pouyanné (CEO de TotalEnergies). Ejemplo 3 - URL de la página web: invest-toolavenue[.]shop - URL del vídeo: hxxps://ai-usmcollective[.]click/videos/TotalEnergies_news_FR[.]mp4 - Idioma: francés - País objetivo: Francia - Deepfake de: Patrick Pouyanné (CEO de TotalEnergies) - Resumen: Promoción de una plataforma de inversión falsa patrocinada por TotalEnergies y garantizada por el Banco de Francia. Deepfake del presidente Andrés Manuel López Obrador de México dando un discurso en una oficina, con la bandera mexicana destacada a la izquierda. Sobre el vídeo hay texto en español. La opción del navegador para traducir al inglés está seleccionada. Figura 27. Captura de pantalla de una página web fraudulenta que contiene un vídeo deepfake de Andrés Manuel López Obrador (presidente de México). Ejemplo 4 - URL de la página web: capitalflow-skillful[.]shop - URL del vídeo: hxxps://ai-usmcollective[.]click/videos/MexicanPartnership_man_MX[.]mp4 - Idioma: Español - País objetivo: México - Deepfake de: Andrés Manuel López Obrador (Presidente de México) - Resumen: Promoción de un falso "Proyecto de Sociedad de Inversiones Mexicanas"  Deepfake de Giorgia Meloni hablando en un podio con una bandera de Estados Unidos de fondo. Hay subtítulos en italiano que mencionan una cantidad mensual de 10.800 euros. Figura 28. Captura de pantalla de un vídeo fraudulento que contiene un deepfake de Giorgia Meloni (Primera Ministra de Italia). Ejemplo 5 - URL de la página web: untamedal[.]top - URL del vídeo: hxxps://ai-usmcollective[.]click/videos/FinInvest_woman-performing_IT[.]mp4 - Idioma: Italiano - País objetivo: Italia - Deepfake de: Giorgia Meloni (Primera Ministra de Italia) - Resumen: Promoción de un programa de inversión estatal falso llamado FinInvest. Vídeo fraudulento con deepfake de Andrej Babiš hablando durante un informativo en Prima News. Figura 29. Captura de pantalla de un vídeo fraudulento que contiene un deepfake de Andrej Babiš (político y empresario checo). Ejemplo 6 - URL de la página web: hxxps://hybridpowerit[.]com/ - URL del vídeo: hxxps://ai-usmcollective[.]click/videos/ImmediateMatrix-PNewsQZ-Invest[.]mp4 - Idioma: Checo - País objetivo: República Checa - Deepfake de: Andrej Babis (político y empresario checo) - Resumen: Promoción de una plataforma de inversión falsa para ciudadanos checos. Vídeo deepfake de Alisher Usmanov presentándose con traje, de pie sobre un fondo liso. El subtítulo sugiere una conversación sobre dinero con una mención de 10.000 liras. Figura 30. Captura de pantalla de un vídeo fraudulento que contiene un deepfake de Omer Koc (empresario turco). Ejemplo 7 - URL de la página web: rondeliercore[.]com - URL del vídeo: hxxps://hemicdn[.]com/video_5848484848485[.]mp4 - Idioma: Turco - País objetivo: Turquía - Deepfake de: Omer Koc (empresario turco) - Resumen: Presentamos un bot de trading con IA que permite a los usuarios obtener ingresos estables de 10.000 liras turcas. [Vídeo deepfake de Alisher Usmanov sentado en un escritorio con un micrófono, hablando, mostrado en una página web. Al fondo, se aprecia un paisaje urbano borroso con una torre prominente.] Se ha seleccionado la opción del navegador para traducir la página al inglés. Figura 31. Captura de pantalla de una página web fraudulenta que contiene un vídeo deepfake de Alisher Usmanov (empresario uzbeko y ruso). Ejemplo 8 - URL de la página web: hxxps://naatuureeffocus[.]com/ - URL del vídeo: hxxps://ai-usmcollective[.]click/videos/USM_novosti-usmanov_UZ[.]mp4 - Idioma: ruso - País objetivo: Uzbekistán - Deepfake de: Alisher Usmanov (empresario uzbeko y ruso) - Resumen: Presentación de una nueva plataforma de inversión para ciudadanos de Uzbekistán #### Actualización del 19 de septiembre de 2024  Vídeo deepfake del expresidente Donald Trump hablando en televisión, con subtítulos, sobre un fondo de la bandera estadounidense y el sello presidencial. El subtítulo dice: "Como muestra de agradecimiento, cada cheque de AMF que usted reciba valdrá 10.000 dólares." (https://unit42.paloaltonetworks.com/wp-content/uploads/2024/09/F32-786x428.png) Figura 32. Captura de pantalla de un vídeo fraudulento que contiene un deepfake de Donald Trump. Ejemplo 9 - URL de la página web: mtgaeth[.]vip - URL del vídeo: hxxp://mtgaeth[.]vip/video/videos-2[.]mp4 - Idioma: Inglés - País objetivo: Estados Unidos - Deepfake de: Donald Trump (45.º presidente de los Estados Unidos) - Resumen: Venta de cheques falsos del "Fondo Monetario Estadounidense" (FMA), que los estadounidenses podrán canjear por 10 000 dólares tras las elecciones presidenciales estadounidenses de 2024. Deepfake de Matthew Amroliwala informando en BBC News sobre un nuevo proyecto de inversión de Elon Musk, señalando que los británicos recibirán un retorno de su inversión. La pantalla muestra las etiquetas 'EXCLUSIVO' y 'RU' con una marca de tiempo de 17:22. Figura 33. Captura de pantalla de un video fraudulento que contiene un deepfake de Matthew Amroliwala (presentador de noticias de la BBC). Ejemplo 10 - URL de la página web: bitvidex360[.]trade - URL del vídeo: hxxps://bitvidex360[.]trade/wp-content/uploads/2023/08/Bitvidex360-Trade[.]mp4 - Idioma: Inglés - País objetivo: Reino Unido - Deepfake de: Matthew Amroliwala (presentador de noticias de la BBC) - Resumen: Anuncio de un falso proyecto de inversión de Elon Musk que permite a los residentes británicos obtener ingresos de 5700 libras esterlinas al día. ¡Página web de phishing que imita el sitio del Gobierno Federal de Brasil y muestra un vídeo deepfake de Luiz Inácio Lula da Silva junto al escudo nacional. La página incluye una notificación sobre el cálculo de la compensación, una barra de progreso que indica 1:26 de 1:46 minutos vistos y un botón azul con la etiqueta «Quiero recibir mi compensación». Parte de la información ha sido censurada. Figura 34. Captura de pantalla de una página web de phishing que contiene un vídeo deepfake de Luiz Inácio Lula da Silva (Presidente de Brasil). Ejemplo 11 - URL de la página web: consultar-resgate[.]com/ll/etapa2 - URL del vídeo: hxxp://consultar-resgate[.]com/videos/vsl[.]mp4 - Idioma: Portugués - País objetivo: Brasil - Deepfake de: Luiz Inácio Lula da Silva (Presidente de Brasil) - Resumen: Anuncio de un programa gubernamental llamado Indeniza Brasil que proporcionará compensación a los ciudadanos brasileños cuyos datos personales fueron filtrados debido a una falla en el sistema de base de datos del gobierno. Deepfake de Emomali Rahmon flanqueado por banderas. El escenario incluye decoración oficial con un interior blanco y dorado. Los subtítulos en ruso son visibles en la parte inferior de la pantalla. Figura 35. Captura de pantalla de un video fraudulento que contiene un deepfake de Emomali Rahmon (Presidente de Tayikistán). Ejemplo 12 - URL de la página web: crisiswatch[.]online - URL del vídeo: hxxps://ai-usmcollective[.]click/videos/GP_prez-tajikistan_RU[.]mp4 - Idioma: ruso - País objetivo: Tayikistán - Deepfake de: Emomali Rahmon (Presidente de Tayikistán) - Resumen: Anuncio de un falso programa de donaciones patrocinado por el gobierno mediante una asociación con Gazprom #### Actualización del 23 de octubre de 2024  Captura de pantalla del sitio web de CTV News con una entrevista en vídeo deepfake a Jagmeet Singh, en la que habla sobre una nueva ley relacionada con la renta garantizada. Figura 36. Captura de pantalla de una página web fraudulenta que contiene un vídeo deepfake de Jagmeet Singh (político canadiense). - URL de la página web: weixinchannelsmall[.]com - URL del vídeo: hxxps://d2l7oiuw3gwvbg[.]cloudfront[.]net/video/JagmeetSingh_923_jag[.]mp4 - Idioma: Inglés - País objetivo: Canadá - Deepfake de: Jagmeet Singh (político canadiense, líder del Nuevo Partido Democrático) - Resumen: Anuncio de un falso programa de inversión patrocinado por el gobierno a través de una asociación con Imperial Oil. Deepfake de Christine Lagarde, presidenta del Banco Central Europeo, pronunciando un discurso en un podio con el logotipo del BCE de fondo. Figura 37. Captura de pantalla de un vídeo fraudulento que contiene un deepfake de Christine Lagarde (presidenta del Banco Central Europeo). - URL de la página web: kotrotshmot[.]site - URL del vídeo: hxxp://kotrotshmot[.]site/video/1735[.]mp4 - Idioma: Inglés - Región objetivo: UE - Deepfake de: Christine Lagarde (Presidenta del Banco Central Europeo) - Resumen: Presentación de un proyecto de inversión falso lanzado por el Banco Central Europeo y el Eurosistema. Captura de pantalla de una página web de Tagesschau con un vídeo deepfake de Theodor Weimer, CEO de Deutsche Börse. La página incluye descripciones de texto y el logotipo del Grupo Deutsche Börse de fondo. Figura 38. Captura de pantalla de un sitio web de noticias falsas que imita a Tagesschau (programa de noticias de la televisión alemana) y utiliza un deepfake de Theodor Weimer (ex CEO de Deutsche Börse). - URL de la página web: new-company[.]store - URL del vídeo: hxxps://new-company[.]store/video/1512_3[.]mp4 - Idioma: Alemán - País objetivo: Alemania - Deepfake de: Theodor Weimer (empresario alemán, exdirector ejecutivo de Deutsche Börse) - Resumen: Promoción de una oferta por tiempo limitado para probar un algoritmo falso de negociación de acciones creado por importantes corporaciones bancarias. Sitio web de Maib que muestra un artículo de noticias con un vídeo deepfake del presidente de Moldavia hablando en un podio, con la bandera moldava de fondo. Figura 39. Captura de pantalla de una página web fraudulenta que contiene un vídeo deepfake de Maia Sandu (presidenta de Moldavia). - URL de la página web: currrencyspot[.]buzz - URL del vídeo: hxxps://ai-usmcollective[.]click/videos/Maib_prezident_RU[.]mp4 - Idioma: ruso - País objetivo: Moldavia - Deepfake de: Maia Sandu (Presidenta de Moldavia) - Resumen: Promoción de un proyecto de inversión falso llamado "Maib", que promete proporcionar a los ciudadanos moldavos hasta 30.000 lei al mes

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd