Problema 7174
Donald Trump está en TikTok haciendo su rutina matutina. "Prepárense conmigo para un gran día 💄🇺🇸", dice el pie de foto, mientras el presidente se aplica maquillaje en la mejilla. La escena es una imagen fija, aparentemente una captura de pantalla de un video de TikTok. Como tantas otras tonterías generadas por IA que circulan por internet, la imagen es falsa y ridícula. Sin embargo, parece inquietantemente real: no hay manos con seis dedos, ángulos que desafíen las leyes de la física ni otras señales evidentes de imágenes generadas por IA. A simple vista, parece que el presidente se está aplicando bronceador.
Creado en ChatGPT con la consigna "Trump haciendo un tutorial de maquillaje en TikTok".
Realicé este deepfake con el nuevo modelo de generación de imágenes de OpenAI. ChatGPT Images 2.0, lanzado la semana pasada, puede crear imágenes fotorrealistas notablemente más convincentes que las que producían sus predecesores. La herramienta ha inundado internet con falsificaciones hiperrealistas: por ejemplo, Jeffrey Epstein como streamer de Twitch. Creé la "captura de pantalla" del TikTok falso de Trump tras encontrar una imagen similar en el subreddit ChatGPT, y desde entonces he podido usar Images 2.0 para crear todo tipo de imágenes deepfake alarmantes, incluyendo a Elon Musk siendo arrestado por el FBI, líderes mundiales sufriendo emergencias médicas y altos cargos políticos estadounidenses con parafernalia nazi (ninguna de las cuales he compartido en ningún sitio).
Todo esto fue inquietante en sí mismo. Pero los deepfakes más realistas que logré crear no involucraban a políticos ni celebridades. De hecho, en su mayoría no mostraban a personas. Con poco esfuerzo, pude crear más de 100 imágenes fraudulentas, incluyendo recetas de opioides y medicamentos para el TDAH, alertas bancarias, publicaciones en redes sociales, identificaciones falsas y pasaportes.
Una licencia de muestra del sitio web del DMV de Washington, D.C.
Una licencia falsa creada editando la imagen de muestra con ChatGPT.
Images 2.0 es especialmente buena para generar imágenes con texto. Esto puede no sonar impresionante, pero es muy importante. Los modelos de imágenes llevan mucho tiempo teniendo dificultades para generar imágenes con texto. Las imágenes que de otro modo serían realistas terminan plagadas de señales de tráfico mal dibujadas y vallas publicitarias distorsionadas. Esto convierte a ChatGPT Images 2.0 en una herramienta de diseño gráfico mucho más sofisticada, pero también hace que el nuevo modelo sea fantástico para perpetrar fraudes. En mis experimentos, la herramienta de OpenAI generó fácilmente imágenes de documentos médicos falsos (certificados médicos, tarjetas de vacunación y análisis clínicos), así como documentos financieros falsificados (facturas, recibos y formularios fiscales). Muchas de estas imágenes eran muy convincentes, con texto totalmente legible, sombreado y otros elementos visuales que aumentaban su fotorrealismo.
Algunas imágenes eran más convincentes que otras. Las recetas médicas falsas eran legibles, pero la escritura parecía más la de un lápiz óptico de iPad que la de un bolígrafo sobre papel. Cuando le proporcioné al modelo de OpenAI una tarjeta de embarque de un vuelo antiguo y le pedí al bot que la actualizara con los datos de un próximo vuelo, ChatGPT generó una nueva tarjeta de embarque; sin embargo, seguramente el código de barras no me habría permitido abordar el vuelo. Y aunque espero que mi licencia de conducir generada por ChatGPT no engañe a la TSA, tal vez sí engañe a un recepcionista de hotel o a un portero de otro estado que aceptaría una "foto" de mi identificación en lugar de la tarjeta real. Muchas de las imágenes más convincentes contenían errores menores: en el recibo mostrado, ChatGPT sumó correctamente el costo total de los artículos comprados, pero calculó mal el impuesto estatal (además de otros pequeños errores).
Con muy poca ayuda, el modelo de imágenes de OpenAI puede crear recibos y resultados de pruebas médicas fraudulentos.
La herramienta de OpenAI destaca especialmente por crear capturas de pantalla falsas. ¿Necesitas falsificar una confirmación de transferencia bancaria de Chase? ¿Una alerta de Wells Fargo por actividad inusual en la cuenta? ¿Un recibo de un viaje en Uber? Hecho, hecho y hecho. Estas imágenes podrían potenciar todo tipo de estafas comunes. Un estafador podría enviar por correo electrónico a su víctima una imagen de un recibo falso de Uber junto con un enlace para reportar actividad sospechosa. El destinatario, confundido al ver un recibo de un viaje que nunca realizó, podría hacer clic en el enlace sospechoso del estafador, entregando accidentalmente información confidencial al hacerlo: una estafa clásica de phishing. (Cabe mencionar que existen fallos: por ejemplo, el mapa que aparece en la imagen de Uber es erróneo en muchos aspectos; entre otros problemas, sugiere un viaje en coche a través de un cuerpo de agua donde no hay puente).
ChatGPT Images 2.0 destaca especialmente por crear capturas de pantalla falsas.
Las tecnologías de imagen han ayudado a los estafadores durante mucho tiempo. En la década de 1990, con la popularización de las fotocopiadoras a color y las impresoras domésticas, los billetes estadounidenses fueron rediseñados para evitar la falsificación. Durante décadas, se han utilizado herramientas como Photoshop para manipular imágenes digitales. Pero falsificar fotos nunca ha sido tan rápido y barato. El mes pasado, el FBI publicó su informe anual sobre delitos informáticos y, por primera vez, incluyó una sección sobre estafas con IA, que costaron a los estadounidenses casi mil millones de dólares el año pasado. El fraude en el reembolso de gastos (empleados que falsifican recibos) ya está en aumento. Un informe reciente de OpenAI detalla cómo un grupo de estafadores que se hacían pasar por abogados falsos utilizó un modelo de imagen antiguo para crear una tarjeta de membresía falsa de un colegio de abogados. "Los límites de las aplicaciones de esta tecnología solo están limitados por la imaginación del estafador", me dijo Mason Wilder, director de investigación de la Asociación de Examinadores Certificados de Fraude. Las herramientas de generación de imágenes de Google también me permiten crear todo tipo de materiales falsos. Pero cuando se trata de documentos y capturas de pantalla fraudulentas —al menos por ahora— el nuevo modelo ChatGPT parece ser más eficaz.
En teoría, no debería haber podido crear la mayoría de estas imágenes. OpenAI prohíbe el uso de su tecnología para fraudes o estafas. Cuando compartí varios ejemplos con OpenAI y pregunté por qué había podido generar una gama tan diversa de imágenes fraudulentas, un portavoz de la compañía me dijo que el objetivo de OpenAI es "dar a los usuarios la mayor libertad creativa posible" sin dejar de aplicar las "políticas de uso". Para evitar el mal uso, el nuevo modelo "incluye múltiples capas de protección de seguridad específicas para cada imagen". Claramente, estas protecciones no funcionan muy bien. El portavoz también mencionó que las imágenes generadas con ChatGPT incluyen ciertos metadatos. Pero OpenAI ya había señalado anteriormente que los metadatos se pueden eliminar fácilmente, ya sea accidental o intencionadamente, subiendo una imagen a redes sociales o simplemente haciendo una captura de pantalla.
El modelo de OpenAI generó imágenes financieras fraudulentas utilizando logotipos bancarios. Se ha eliminado cierta información de las cuentas de estas imágenes.
Google tiene restricciones similares para evitar el uso fraudulento de sus herramientas. Cuando envié a la empresa imágenes que creé con sus modelos, un portavoz afirmó que las herramientas mejoran continuamente en la aplicación de las medidas de seguridad. Google también incorpora una marca de agua imperceptible en las imágenes generadas por IA y ofrece una herramienta de detección llamada SynthID. En mis pruebas, SynthID resultó bastante eficaz para identificar imágenes generadas con los modelos de Google. Sin embargo, la mayoría de las personas no analizarán todas las imágenes que vean con dicha herramienta.
Todo esto dificulta aún más la prevención del fraude para bancos, hospitales, agencias gubernamentales y entidades similares. Utilizando el modelo de OpenAI, pude crear fácilmente un cheque falso de Chase Bank y una alerta de transferencia bancaria fraudulenta. «Necesitamos un esfuerzo de todo el ecosistema —incluidas las empresas de IA— para reforzar las medidas de seguridad y ayudar a detener estos delitos en su origen», me dijo un portavoz de Chase, añadiendo que el banco cuenta con sus propias salvaguardas para proteger a sus clientes. Pero incluso si las principales empresas de IA mejoraran radicalmente sus propias medidas de seguridad, seguiría existiendo el problema de los modelos de código abierto. Los expertos en prevención del fraude están trabajando en soluciones tecnológicas, dijo Wilder, pero «los que actúan correctamente casi siempre van un paso por detrás».
Gran parte del debate actual sobre los deepfakes se ha centrado en los casos extremos: escándalos políticos o eventos mundiales fabricados. Estas son preocupaciones muy reales: utilizando los modelos de imagen de Google y OpenAI, pude crear fácilmente capturas de pantalla muy convincentes de artículos falsos del New York Times y del Atlantic.
Subí una captura de pantalla de un artículo real de The Atlantic que escribí e indiqué al bot que lo reemplazara con este falso.
Usando ChatGPT, manipulé una captura de pantalla de la página principal de The New York Times, reemplazando una noticia real con esta falsa sobre espinacas. (Sin que yo lo solicitara, el bot también incluyó un artículo sobre comestibles; el resto de las noticias son reales).
Las imágenes coincidían de forma convincente con el diseño visual y la tipografía de ambas publicaciones, mostraban texto coherente y generaban los nombres de autores reales. Sin embargo, por muy fragmentado que esté nuestro ecosistema mediático, una simple búsqueda en Google probablemente revelará si dichas imágenes son falsas. Son los deepfakes cotidianos y microsegmentados —los que estafan a tus familiares, no los que confunden momentáneamente las redes sociales— los que podrían ser más siniestros.
Este artículo originalmente indicó erróneamente la cantidad de titulares falsos en una captura de pantalla editada con IA de la página principal de The New York Times. La imagen contiene dos noticias inventadas, no una.