Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 5213

Incidentes Asociados

Incidente 10762 Reportes
Purported Unauthorized Deepfakes of Norman Swan and Others Circulated in Online Supplement Campaigns

Loading...
Los videos deepfake de Norman Swan están engañando a las personas para que compren suplementos no probados, lo que pone en riesgo su propia salud.
abc.net.au · 2025

Empezó hace unos 18 meses. Fue impactante entonces y lo es aún más ahora.

Oyentes, espectadores, amigos, colegas y familiares empezaron a contactarme, todos con más o menos la misma pregunta, entonces y ahora:

"¿Es real este anuncio que he visto contigo? ¿Debería comprar el producto?"

Lo que habían visto era un vídeo o artículo, vía Facebook o Instagram, donde aparecía promocionando suplementos o productos para bajar de peso que supuestamente trataban enfermedades cardíacas, diabetes u obesidad.

A menudo denigraba a la profesión médica y calificaba de "estúpida" la opinión científica predominante.

Cuando aparecieron los primeros, le pedí a la ABC que los retirara. No funcionó.

Este año, estos anuncios falsos volvieron a aparecer. Eran mucho más sofisticados y se difundían en cantidades mucho mayores.

El falso Norman está actualmente promocionando cuatro productos no probados, que yo sepa.

Un video generado por IA que aparece constantemente en Facebook muestra a Rebel Wilson hablando sobre cómo perdió peso gracias a un nuevo suplemento recomendado por el Dr. Norman Swan.

Otro deepfake sigue el mismo formato, pero con la cantante Adele. Estos deepfakes enlazan a un sitio web externo de un producto para bajar de peso no probado llamado Keto Flow + ACV.

Otra estafa perniciosa que me involucra es la de un producto no probado llamado Glyco Balance.

Tanto Glyco Balance como Keto Flow + ACV están supuestamente hechos con ingredientes "totalmente naturales" (aunque la lista de ingredientes varía según el sitio web que visites). Tienen poca o ninguna base científica que respalde sus afirmaciones de marketing, pero el discurso de venta dista mucho de ser inofensivo.

Consejos de salud peligrosos

David Bell vive en una residencia de ancianos en las afueras del norte de Melbourne.

Tiene una buena educación —su afición es traducir al inglés a poetas rusos del siglo XIX y principios del XX—, pero David tiene mala salud y diabetes.

Cuando un artículo supuestamente escrito por mí apareció en su portátil, le llamó la atención.

"Pensé: 'Esto es interesante. Me pregunto qué tendrá que decir Norman sobre la diabetes'", me dijo.

"Era convincente. Decía que existe una sustancia química llamada metformina, que no es beneficiosa para el cuerpo. Deberías dejar de tomarla".

La metformina es uno de los principales medicamentos utilizados para tratar la diabetes tipo 2 y es eficaz para ayudar a prevenir complicaciones de la diabetes, como la ceguera y el daño renal.

El artículo animaba a los pacientes con diabetes a dejar de tomar metformina y empezar a tomar Glyco Balance.

El artículo era tan convincente que David dejó de tomar la medicación que le recetaron.

"Estoy furioso conmigo mismo por haber caído en la trampa, pero eres una autoridad", me dijo David.

"Eres una figura muy conocida en el sector sanitario. ¿Por qué no iba a creerte?"

A finales de 2024, apareció otro anuncio de Glyco Balance con contenido similar en las plataformas Meta.

Esta vez, en lugar de mí, era un video generado por IA del destacado investigador y especialista en diabetes, Jonathan Shaw, del Instituto Baker de Cardiología y Diabetes de Melbourne.

Fue este deepfake lo que atrajo a Janis, residente de Adelaida, mientras buscaba bajar de peso.

"Lo investigué... y vi que era un experto en cardiología y diabetes en Australia", contó a 7.30.

"Así que pensé: '¡Guau! Este tipo ha creado este producto. Es australiano. Voy a probarlo'".

Cuando llegó el pedido de Janis, la dosis en el frasco era de 204 miligramos, pero la cantidad anunciada era de 800 mg.

También le retiraron más de $300 de su cuenta bancaria en lugar de poco más de $200, y finalmente Janis descubrió que la compañía le había cargado un débito mensual de más de $300 sin que ella lo supiera.

Aun así, probó el suplemento para ver qué pasaba.

"En realidad, hablando de bajar de peso... subí unos kilos mientras tomaba el primer frasco", dijo Janis a 7.30.

Rastreando a los responsables

7.30 ha encontrado tres empresas registradas vinculadas a Glyco Balance y Keto Flow + ACV: Vellec Group NZ Ltd, Healthy Life Choices NZ Ltd y Apex United Pty Ltd.

Tienen oficinas en Christchurch y Gold Coast, y parecen estar vinculadas a una empresa global con sede en EE. UU.

Utilizan el mismo manual de ventas y marketing, el mismo diseño web y las mismas tácticas engañosas para atraer a los consumidores.

7.30 ha descubierto que algunas de las personas involucradas en la gestión de estas empresas tienen parentesco entre sí.

Numerosos clientes tienen las mismas quejas sobre ambos productos. A saber: se les cobra de más y se les solicita un débito automático mensual sin su permiso.

7.30 ha enviado correos electrónicos y llamado por teléfono a las empresas implicadas, además de contactar a su contable en Auckland. Aparte de una persona que negó tener relación alguna con la empresa, a pesar de ser el único director registrado, no hemos recibido ninguna otra respuesta.

Desde que se contactó con las empresas, las páginas principales de pedidos de Glyco Balance han sido retiradas.

Los sitios web afiliados ahora redirigen a los clientes a las páginas de pedidos de "Glucovate" y "Glyco Forte".

Una búsqueda en los archivos de internet revela otros cambios de nombre que el producto ha sufrido en el pasado, incluyendo Blood Balance, la versión de la que me hicieron un deepfake hace 18 meses.

Cómo se crean los deepfakes

Estas falsificaciones son increíblemente fáciles de crear.

"Se necesita un portátil, conexión a internet y acceso a algún software gratuito o de pago, así que no es un negocio que requiera mucho capital", dijo Sanjay Jha, de la Facultad de Ciencias de la Computación e Ingeniería de la UNSW.

Él y su estudiante Wenbin Wang desarrollaron un modelo de inteligencia artificial con fines didácticos. Nos mostraron cómo el estafador probablemente creó mis deepfakes.

El estafador empieza con un video mío, tomado de una plataforma como YouTube. Luego lo sube a un programa de deepfakes que se puede comprar por unos pocos dólares.

Primero, clonan mi voz a partir de una muestra que puede durar tan solo unos segundos. El modelo de IA clona mi apariencia, escaneando el video fotograma a fotograma, mapeando mi rostro desde varios ángulos. Después, el estafador puede escribir las palabras que quiere que diga.

La carta de "salida" de Meta

Cuando el profesor Shaw empezó a recibir correos electrónicos y llamadas de personas que querían dejar su medicación o saber dónde podían conseguir el suplemento, supo que había un problema.

Sus intentos iniciales para que Meta retirara el anuncio falso no dieron resultado hasta que los abogados del Instituto Baker le informaron que se había producido una infracción de marca registrada y propiedad intelectual.

Fue entonces cuando recibieron una respuesta y lograron desmantelar la estafa. Pero seguían apareciendo nuevas versiones.

La ABC también ha tenido dificultades para captar la atención de Meta.

Rod McGuinness es el responsable de la comunidad social de la ABC y coordina su presencia en redes sociales. Ha visto cómo más de una docena de personalidades de la ABC han sido utilizadas por estafadores, entre ellos Karl Kruszelnicki, Alan Kohler, Michael Rowland y Virginia Trioli.

"Dedicamos mucho tiempo, o al menos lo hemos hecho a lo largo de los años, a informar sobre estas cosas, diciéndole a Meta: '¿Pueden hacer algo al respecto?'. Y muy a menudo no hay respuesta", declaró McGuinness a 7.30.

En 2024, Meta generó más de 164 000 millones de dólares, la mayoría de los cuales fueron ingresos por publicidad. Los estafadores explotan los algoritmos de Facebook e Instagram, dirigiéndose a consumidores vulnerables mediante publicaciones pagadas.

Hasta ahora, Meta ha eludido en gran medida su responsabilidad. El Sr. McGuinness afirma estar frustrado por su falta de responsabilidad.

"Facebook siempre ha dicho que no son editores; son las personas que usan Facebook quienes son los editores", dijo.

"Y creo que en este contexto es una buena excusa, porque pueden decir: 'Bueno, no controlamos estas cosas'. Sin embargo, están encantados de obtener los ingresos por publicidad".

Nathaniel Gleicher, director de política de seguridad y jefe global de lucha contra el fraude en Meta, afirma que la organización se enfrenta a un desafío importante.

"Hablamos de operaciones sofisticadas que operan a escala industrial, a menudo respaldadas por organizaciones criminales con amplios recursos... y que buscan atacar a las personas dondequiera que las encuentren", dijo el Sr. Gleicher.

"Son muy rápidos para ajustar sus tácticas y burlar cualquier defensa que se les ponga".

También sostiene que Meta ha sido muy proactiva en su enfoque contra las estafas de deepfake.

"En el cuarto trimestre de 2024, eliminamos más de mil millones de cuentas falsas y, de ellas, el 99,7 % las eliminamos de forma proactiva antes de que nadie las detectara", afirmó.

Sin embargo, una tasa de omisión del 0,3 % en más de mil millones de cuentas significa que aún se cuelan muchas estafas.

"Uno de los verdaderos desafíos es que estas estafas abusan de múltiples sistemas", afirmó el Sr. Gleicher.

El estafador comienza creando una cuenta bancaria falsa para recibir el dinero. A menudo, necesita un almacén para guardar los productos que podría enviar. Luego, redirige a los usuarios a un sitio web en internet abierto y, obviamente, utiliza un sistema de pago instantáneo.

Para contrarrestar esto, es fundamental que todas estas comunidades trabajen juntas.

Australia pierde más de 2 mil millones de dólares

La Comisión Australiana de Competencia y Consumo (ACCC) dirige el Centro Nacional Antiestafa.

La vicepresidenta de la ACCC, Catriona Lowe, afirma que controlar estas estafas es complejo y requiere la cooperación de las fuerzas del orden locales e internacionales, así como la labor proactiva de operadores como Meta.

Hemos publicado un informe que demuestra una disminución de más del 25 % en las pérdidas financieras reportadas por estafas durante 2024, pero con 2 mil millones de dólares perdidos, aún tenemos mucho trabajo por hacer, afirmó.

La nueva legislación ha otorgado al regulador la facultad de imponer multas multimillonarias si las plataformas no eliminan el contenido fraudulento y estas plataformas están avisadas.

Prevemos "Las redes sociales, incluyendo Meta, serán uno de los primeros sectores designados", dijo la Sra. Lowe.

"Eso significará que habrá sanciones financieras para ese sector si no cumplen o no toman las medidas razonables para cumplir con sus obligaciones bajo esa ley".

Pero eso aún deja a personas como David y Janis solos tras ser estafados.

"Me sentí realmente destrozada", dijo Janis a 7.30.

"Fue horrible, porque pensé que esto era realmente real. Me hizo retroceder, porque pensé que acababa de comprar este medicamento milagroso".

El profesor Shaw cree que el daño es aún más grave que los riesgos para la salud y las finanzas.

"Lo que sucede como resultado de esto y otras cosas similares es la desconfianza", dijo.

"Quizás no se confíe en todo tipo de cosas útiles que yo y otras personas podamos decir sobre la salud".

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd