Problema 2750

En los viejos tiempos, si querías crear un diálogo convincente para un video falso, tenías que escribe las palabras tú mismo. En estos días, es más fácil que nunca dejar que la IA lo haga todo por ti. "Básicamente, ahora solo necesitas tener una idea para el contenido", dice Natalie Monbiot, jefa de estrategia de Hour One, una startup con sede en Tel Aviv que lleva la tecnología deepfake a videos de aprendizaje en línea, presentaciones comerciales, informes de noticias y anuncios. El mes pasado, la empresa agregó una nueva función que incorpora [GPT](https://www.fastcompany.com/90850118/chatgpt-cant-do-real-work-that-means-it-wont-be-replacing-anyone-anytime -pronto), el sistema de escritura de texto de OpenAI; ahora los usuarios solo necesitan elegir entre docenas de avatares y voces creados por actores, y escribir un aviso para obtener una cabeza parlante realista. (Al igual que algunos de sus competidores, Hour One también permite a los usuarios digitalizar sus propios rostros y voces). Es una de varias empresas de "personas virtuales" que han agregado herramientas de lenguaje basadas en IA a sus plataformas, con el objetivo de dar a sus avatares mayor alcance y nuevos poderes de mimetismo. (Vea un ejemplo que hice a continuación). Más de 150 empresas ahora están creando productos en torno a [IA generativa] (https://www.fastcompany.com/90826178/generative-ai), un término general para los sistemas que utilizan el aprendizaje no supervisado. para evocar texto y multimedia, para creadores de contenido y comercializadores y empresas de medios. La tecnología deepfake también está apareciendo cada vez más en Hollywood. AI permite que Andy Warhol y Anthony Bordain hablen desde más allá de la tumba, promete mantener a Tom Hanks joven para siempre, y nos permite ver [imitaciones] (https://www.youtube.com/watch?v=j4HCpv-w2_c) de Kim Kardashian, Jay Z y Greta Thunberg peleando por el mantenimiento del jardín en una tonta comedia de televisión británica. Startups como Hour One, Synthesia, Uneeq y D-ID ven aplicaciones más prosaicas para la tecnología: poner un número infinito de personas brillantes y felices en anuncios personalizados en línea, tutoriales en video y presentaciones. Las personas virtuales creadas por Hour One ya están [alojando videos para multinacionales de la salud y empresas de aprendizaje](https://www.fastcompany.com/90694393/hour-one-is-building-an-army-of-deepfake-like-talking -heads-maybe-incluyéndote a ti) y presentar actualizaciones de noticias para un sitio web de criptomonedas y reportajes de fútbol para una cadena de televisión alemana. La industria visualiza una Internet que se adapte cada vez más a nosotros y nos refleje, un [metaverso](https://www.theatlantic.com/magazine/archive/2023/03/tv-politics-entertainment-metaverse/672773/?utm_source= substack&utm_medium=email ) donde interactuaremos con personas falsas y crearemos gemelos digitales que pueden, por ejemplo, asistir a reuniones por nosotros cuando no tengamos ganas de estar frente a la cámara. Visiones como estas han provocado una nueva fiebre del oro en la IA generativa. Plataforma de generación de imágenes Stability AI y procesador de textos de IA [Jasper](https://www.jasper.ai/free-trial?adgroupid=124949426633&campaignid=13479856294&utm_source=google&utm_term=jasper.ai&utm_content= 527283671699&gclid=CjwKCAiAs8acBhA1EiwAgRFdw5jsaj-XTweJqtinzzGh0606kC0AJPh4QcCZwT7QyQVlmXqDMqzRJRoCB4AQAvD_BwE ), por ejemplo, recaudó recientemente $101 millones y $125 millones, respectivamente. Hour One recaudó $ 20 millones el año pasado de los inversores y aumentó su personal de una docena a cincuenta personas. Sequoia dice que la industria de la IA generativa generará billones en valor. "Esto realmente se siente como un momento crucial en la tecnología", dice Monbiot. Pero aumentan las preocupaciones de que, cuando se combinan, estas herramientas imitativas también pueden potenciar el trabajo de los estafadores y propagandistas, ayudando a empoderar a los demagogos, perturbar los mercados y erosionar una confianza social ya frágil. "El riesgo en el futuro de combinar deepfakes, avatares virtuales y generación automática de voz es cada vez mayor", dice Sam Gregory, director de programa de Witness, un grupo de derechos humanos con experiencia en deepfakes. Un informe del mes pasado del organismo de control de la desinformación NewsGuard advirtió sobre los peligros de GPT por sí solo, diciendo que ofrece a los vendedores ambulantes de desinformación política, operaciones de información autoritarias y engaños de salud el equivalente a "un ejército de escritores hábiles que difunden narrativas falsas". Para los creadores de video y audio deepfake, GPT, abreviatura de transformador preentrenado generativo, podría usarse para crear versiones más realistas de figuras políticas y culturales conocidas, capaces de hablar de maneras que imiten mejor a esas personas. También se puede utilizar para crear de forma más rápida y económica un ejército de personas que no existen, actores falsos capaces de transmitir mensajes con fluidez en varios idiomas. Eso los hace útiles, dice Gregory, para la estrategia de desinformación de "manguera contra incendios" preferida por Rusia, junto con todo, desde "personalización comercial engañosa hasta las estrategias 'lolz' de publicación de mierda a gran escala". El mes pasado, una serie de videos que aparecieron en WhatsApp mostraban a varias personas falsas con acento estadounidense que expresaban torpemente su apoyo a un golpe respaldado por militares en Burkina Faso. La firma de seguridad Graphika dijo la semana pasada que las mismas personas virtuales fueron desplegadas el año pasado como parte de una operación de influencia a favor de China. Synthesia, la empresa con sede en Londres cuya plataforma se usó para hacer los deepfakes, no identificó a los usuarios detrás de ellos, pero dijo que los suspendió por violar sus términos de servicio que prohíben el contenido político. En cualquier caso, señaló Graphika, los videos tenían guiones de baja calidad y una entrega algo robótica y, en última instancia, obtuvieron poca audiencia. Pero la IA audiovisual está "aprendiendo" rápidamente, y las herramientas similares a GPT solo amplificarán el poder de videos como estos, lo que hará que sea más rápido y más barato para los mentirosos crear falsificaciones profundas más fluidas y convincentes. La combinación de modelos de lenguaje, reconocimiento facial y software de síntesis de voz "hará que el control sobre la imagen de uno sea una reliquia del pasado", advirtió Eurasia Group, con sede en EE. UU., en su reciente informe anual de riesgos, publicado el mes pasado. Los analistas geopolíticos clasificaron la desinformación impulsada por IA como el tercer mayor riesgo global en 2023, justo detrás de las amenazas planteadas por China y Rusia. "Los modelos de lenguaje grande como GPT-3 y el GPT-4 que se lanzará próximamente podrán pasar de manera confiable la prueba de Turing, un Rubicon para la capacidad de las máquinas para imitar la inteligencia humana", dice el informe. "Este año será un punto de inflexión para el papel de la tecnología disruptiva en la sociedad". Brandi Nonnecke, codirectora del Berkeley Center for Law and Technology, dice que para la desinformación de alta calidad, la combinación de modelos de lenguaje extenso como GPT con video generativo es un "barril de pólvora". "La tecnología de video y audio deepfake está mejorando cada día", dice. "Combine esto con un script convincente [generado por ChatGPT] (https://www.fastcompany.com/90847360/bing-chatgpt-openai-microsoft-comparison) y es solo cuestión de tiempo antes de que los deepfakes pasen como auténticos". Deeperfakes ----------- El término deepfakes, a diferencia de los nombres de otras tecnologías disruptivas recientes (IA, cuántica, fusión), siempre ha sugerido algo [vertiginosamente espeluznante] (https://www.fastcompany.com /90849850/ai-porn-está-chocando-con-la-sexualidad-humana-y-levantando-algunas-banderas-rojas-éticas). Y desde sus espeluznantes orígenes, cuando el usuario de Reddit "deepfakes" comenzó a publicar videos porno falsos de celebridades en 2017, la tecnología se ha convertido rápidamente en una vida delictiva. Se ha utilizado para "desvestirse" [números no contados](https://www.refinery29.com/en-us/2023 /02/11283094/deepfake-porn-laws-atrioc) de mujeres, robar decenas de millones, reclutar a personas como Elon Musk y Joe Rogan en estafas de criptomonedass, hacer que las celebridades [digan cosas horribles](https:// www.vice.com/en/article/dy7mww/ai-voice-firm-4chan-celebrity-voices-emma-watson-joe-rogan-elevenlabs), [ataque](https://www.reuters.com/article /us-cyber-deepfake-activist/deepfake-used-to-attack-activist-couple-shows-new-disinformation-frontier-idUSKCN24G15E) Activistas por los derechos de los palestinos y [truco](https://www.theguardian.com /world/2022/jun/25/european-leaders-deepfake-video-calls-mayor-of-kyiv-vitali-klitschko) A los políticos europeos les hace pensar que e en una videollamada con el alcalde de Kiev. A muchos les preocupa que el software se utilice indebidamente para falsificar [evidencia] (https://www.thenationalnews.com/uae/courts/deepfake-audio-evidence-used-in-uk-court-to-discredit-dubai-dad- 1.975764) como cámara corporal y video de vigilancia, y el Departamento de Seguridad Nacional ha advertido sobre su uso no solo para intimidar y chantaje, sino también como medio para manipular acciones y sembrar inestabilidad política. Durante años, todas las historias negativas mantuvieron a los clientes e inversores alejados de las falsificaciones profundas. Pero después de un período en el que Monbiot dice que estuvo marcado por el "alarmismo" de los medios, la tecnología ha visto un giro hacia una mayor aceptación, "de tratar realmente de convencer a la gente, o simplemente hacer que la gente lo entienda". Últimamente, dice, el propio equipo ejecutivo de Hour One ha estado entregando informes semanales utilizando sus propios "gemelos virtuales" personalizados, a veces con la herramienta Script Wizard. También están probando formas de adaptar GPT entrenándolo con conversaciones de Slack, por ejemplo. (En diciembre, Google y DeepMind dieron a conocer un LLM centrado en la clínica llamado Med-PaLM7 que, según dijeron, podría responder algunas preguntas médicas casi tan bien como el médico humano promedio). A medida que la tecnología se vuelve más rápida y económica, Hour One también espera poner avatares en videollamadas en tiempo real, brindando a los usuarios sus propios "súper comunicadores", "extensiones" mejoradas de sí mismos. "Ya lo hacemos todos los días", dice, a través de las redes sociales. "Y esto es casi como una versión animada de ti que en realidad puede hacer mucho más que una buena foto. De hecho, puede funcionar en tu nombre". Pero, por favor, Monbiot, dice: no los llames deepfakes. "Nos distinguimos de [deepfakes] porque definimos 'deepfake' como no comisionado", dice ella. La compañía ha licenciado las imágenes de cientos de actores, cuyas cabezas transformadas por IA solo aparecen en videos que cumplen con sus acuerdos contractuales y términos de servicio del usuario: "nunca contenido ilegal, poco ético, divisivo, religioso, político o sexual", dice el legal. letra pequeña. Para personalidades conocidas, el uso está restringido al "uso aprobado personalmente". La compañía también coloca una marca de agua "AV" en la parte inferior de sus videos, que significa "Imágenes alteradas". Las personas en sí mismas se ven y suenan muy reales, en algunos casos demasiado reales, ligeramente atrapadas en el borde más alejado del valle inquietante. Esa sensación de hiperrealidad también es intencional, dice Monbiot, y es otra forma de "marcar la distinción entre el verdadero tú y tu gemelo virtual". Pero GPT puede difuminar esas líneas. Después de registrarme para obtener una cuenta gratuita, que incluye unos minutos de video, comencé pidiéndole a Script Wizard, la herramienta basada en GPT de Hour One, que explicara los riesgos que presentaba Script Wizard. La máquina advirtió sobre "violaciones de datos, violaciones de privacidad y manipulación de contenido" y sugirió que "para minimizar estos riesgos, debe asegurarse de que se implementen medidas de seguridad, como actualizaciones regulares en el software y los sistemas utilizados para Script Wizard". Además , debe tener en cuenta quién accede a la tecnología y qué se está haciendo con ella". Además de sus propios acuerdos contractuales con sus actores y usuarios, Hour One también debe cumplir con los términos de servicio de OpenAI, que prohíben el uso de su tecnología para promover la deshonestidad, engañar o manipular a los usuarios o intentar influir en la política. Para hacer cumplir estos términos, Monbiot dice que la compañía utiliza "una combinación de herramientas y métodos de detección para identificar cualquier abuso del sistema" y "prohibir permanentemente a los usuarios si incumplen nuestros términos de uso". Pero dado lo difícil que es para los equipos de personas o máquinas detectar información política errónea, es probable que no siempre sea posible identificar el uso indebido. (Synthesia, que se utilizó para producir los videos de propaganda a favor de China, también prohíbe el contenido político). Y es aún más difícil detener el uso indebido una vez que se ha realizado un video. "Nos damos cuenta de que los malos actores buscarán jugar con estas medidas, y esto será un desafío constante a medida que madure el contenido generado por IA", dice Monbiot. Cómo hacer un Deepfake impulsado por GPT (que recita puntos de conversación del Kremlin) -------------------------------------------------- ------------------------------------- Hacer un deepfake que hable texto escrito por IA es tan fácil como generar scripts en primera persona usando ChatGPT y pegarlos en cualquier plataforma de personas virtuales. (En su sitio web, Synthesia ofrece [algunos tutoriales] (https://www.synthesia.io/post/generative-ai-video) sobre cómo hacer esto). Alternativamente, un fabricante de deepfake podría descargar DeepFace, el software de código abierto populares entre la comunidad de pornografía no consensuada, y lanzan su propio avatar digital, usando una voz de una compañía como ElevenLabs o Resemble AI. (Recientemente, ElevenLabs dejó de ofrecer pruebas gratuitas después de que los usuarios de 4Chan [usaron mal] (https://www.vice.com/en/article/dy7mww/ai-voice-firm-4chan-celebrity-voices-emma-watson-joe-rogan- elevenlabs) la plataforma, incluso haciendo que la voz de Emma Watson lea una parte de Mein Kampf; Resemble [ha estado experimentando con GPT-3] (https://www.resemble.ai/giving-gpt-3-a-voice -con-síntesis-de-voz/)). Un codificador usado recientemente ChatGPT, el texto neuronal de Microsoft Azure. sistema de voz y otros sistemas de aprendizaje automático para construir una "esposa" virtual al estilo anime para enseñarle chino. Pero en plataformas de autoservicio como D-ID o Hour One, la integración de GPT simplifica aún más el proceso, con la opción de ajustar el tono y sin necesidad de registrarse en OpenAI u otras plataformas. El proceso de registro de Hour One pide a los usuarios su nombre, correo electrónico y número de teléfono; D-ID solo quiere un nombre y un correo electrónico. Después de registrarse para una prueba gratuita en Hour One, tardó unos minutos más en hacer un video. Pegué la primera línea del comunicado de prensa de Hour One y dejé que Script Wizard escribiera el resto del texto, creando un guión más alegre de lo que había imaginado inicialmente (aunque elegí el tono "Profesional"). Luego le pedí que describiera algunos de los "riesgos" de combinar GPT con deepfakes, y ofreció algunos peligros, incluida la "manipulación de contenido". (El sistema también ofreció su propia manipulación, cuando llamó a GPT-3 "la tecnología de inteligencia artificial más poderosa disponible en la actualidad".) Después de un par de intentos, también pude hacer que la herramienta GPT incluyera algunas oraciones que argumentan a favor de Rusia. invasión de Ucrania: una aparente violación de los términos de servicio que prohíben el contenido político. El resultado, un video de un minuto y medio (que se puede ver a continuación) presentado por una cabeza parlante en un entorno de estudio fotorrealista, tardó unos minutos en exportarse. El único marcador claro de que la persona era sintética era un pequeño marcador "AV" que se encontraba en la parte inferior del video y que, si quería, podía editar fácilmente. Incluso sin el video sintético, los investigadores advirtieron que las aplicaciones como ChatGPT podrían usarse para causar todo tipo de daño a nuestro panorama de información, desde crear operaciones de noticias falsas desde cero hasta simplemente sobrecargar los mensajes de los ya poderosos cabilderos. Renee DiResta, gerente de investigación técnica del Observatorio de Internet de Stanford, está más preocupada por lo que GPT significa simplemente para [desinformación de solo texto] (https://www.wired.com/story/ai-generated-text-is-the -scariest-deepfake-of-all/), que "será fácil de generar en un gran volumen y con menos señales para habilitar la detección" que las que existen con otros tipos de medios sintéticos. Para engañar a las personas para que piensen que usted también es una persona, es posible que no sea necesario en absoluto una cara y una voz convincentes, [argumenta Venketash Rao] (https://studio.ribbonfarm.com/p/text-is-all-you- necesidad). "El texto es todo lo que necesitas". Debería ser más fácil detectar personas sintéticas que texto sintético, porque ofrecen más "indicios". Pero las personas virtuales, especialmente aquellas equipadas con oraciones escritas por IA, serán cada vez más convincentes. Los investigadores están trabajando en IA que combina grandes modelos de lenguaje con percepción incorporada, lo que permite avatares conscientes, bots que pueden aprender a través de múltiples modalidades e interactuar con el mundo real. La última versión de GPT ya es capaz de pasar una especie de prueba de Turing con ingenieros tecnológicos y [periodistas] (https://www.nytimes.com/2023/02/16/technology/bing-chatbot-microsoft-chatgpt.html ), convenciéndolos de que tiene sus propias personalidades, a veces bastante espeluznantes. (Podría ver las habilidades de imitación expertas de los modelos de lenguaje como una especie de [prueba de espejo] (https://www.theverge.com/23604075/ai-chatbots-bing-chatgpt-intelligent-sentient-mirror-test) para nosotros , que aparentemente estamos fallando). Eric Horvitz, director científico de Microsoft, que tiene una gran participación en OpenAI, se preocupó en [un artículo el año pasado] (https://arxiv.org/pdf/2209.01714.pdf) sobre deepfakes interactivos automatizados capaces de llevar a cabo una conversación en tiempo real. Ya sea que sepamos que estamos hablando con un falso o no, advirtió, esta capacidad podría impulsar campañas de influencia persistentes y persuasivas: "No es difícil imaginar cómo el poder explicativo de las historias sintéticas hechas a la medida podría superar a los poder explicativo de las narraciones veraces". A pesar de que los sistemas de IA siguen mejorando, no pueden escapar de sus propios [errores] (https://www.fastcompany.com/90833017/openai-chatgpt-accuracy-gpt-4) y "personalidad" [problemas] (https ://www.fastcompany.com/90850277/bing-new-chatgpt-ai-chatbot-insulting-gaslighting-users). Los grandes modelos de lenguaje como GPT funcionan mapeando las palabras en miles de millones de páginas de texto en la web, y luego revierten las oraciones en aproximaciones estadísticamente probables de cómo escriben los humanos. El resultado es una simulación de pensamiento que suena bien pero que también puede contener errores sutiles. OpenAI advierte a los usuarios que, aparte de los errores de hecho, ChatGPT "ocasionalmente puede producir instrucciones dañinas o contenido sesgado". Con el tiempo, a medida que este texto derivado se propaga en línea, incrustado con capas de errores cometidos por máquinas (y humanos), se convierte en material de aprendizaje nuevo para las próximas versiones del modelo de escritura de IA. A medida que el conocimiento del mundo pasa por el escurridor de la IA, se comprime y expande una y otra vez, como una especie de jpeg borroso. Como lo expresó el escritor Ted Chiang (https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web?utm_source=substack&utm_medium=email) en The New Yorker: "Cuanto más texto generado por modelos de lenguaje extenso se publica en la Web, más se convierte la Web en una versión más borrosa de sí misma". Para cualquiera que busque información confiable, el texto escrito por IA puede ser peligroso. Pero si estás tratando de inundar la zona con confusión, tal vez no sea tan malo. El informático Gary Marcus ha señalado que para propagandistas que inundan la zona para sembrar confusión, "las alucinaciones y las faltas de fiabilidad ocasionales de los grandes modelos de lenguaje no son un obstáculo, sino una virtud". Luchando contra los deepfakes ------------------ A medida que avanza la fiebre del oro de la IA, los esfuerzos globales para hacer que la tecnología sea más segura se esfuerzan por ponerse al día. El gobierno chino adoptó el primer conjunto considerable de reglas en enero, exigiendo a los proveedores de personas sintéticas que den a los humanos del mundo real la opción de "refutar rumores" y exigiendo que los medios alterados contengan marcas de agua y el consentimiento del sujeto. Las reglas también prohíben la difusión de "noticias falsas" que se consideren perjudiciales para la economía o la seguridad nacional, y otorgan a las autoridades una amplia libertad para interpretar lo que eso significa. (Las regulaciones no se aplican a las falsificaciones profundas hechas por ciudadanos chinos fuera del país). También hay un impulso creciente para crear herramientas que ayuden a detectar personas y medios sintéticos. La Coalición para la Procedencia y Autenticidad del Contenido, un grupo liderado por Adobe, Microsoft, Intel, la BBC y otros, ha diseñado un estándar de marca de agua para verificar imágenes. Pero sin una adopción generalizada, es probable que el protocolo solo sea utilizado por aquellos que intentan demostrar su integridad. Esos esfuerzos solo reflejarán el crecimiento de una industria multimillonaria dedicada a hacer personas falsas realistas y hacerlas totalmente normales, incluso geniales. Ese cambio, hacia una amplia aceptabilidad de las personas virtuales, hará que sea aún más imperativo señalar lo que es falso, dice Gregory de Witness. "Cuanto más acostumbrados estemos a los humanos sintéticos, más probable es que aceptemos a un humano sintético como parte integral, por ejemplo, de una transmisión de noticias", dice. "Es por eso que las iniciativas en torno a los medios sintéticos responsables deben poner énfasis en telegrafiar el papel de la IA en lugares donde se debe esperar categóricamente que las manipulaciones no sucedan o siempre se señalen (por ejemplo, transmisiones de noticias)". Por ahora, el vacío de estándares y moderación puede dejar el trabajo de vigilar estos videos a los algoritmos de plataformas como YouTube y Twitter, que han [luchado] (https://www.nytimes.com/2022/11/05/ technology/youtube-misinformation.html) para detectar desinformación y discurso tóxico en videos regulares no generados por IA. Y luego depende de nosotros y de nuestras habilidades de discernimiento e inteligencia humana, aunque no está claro cuánto tiempo podemos confiar en ellas. Monbiot, por su parte, dice que antes de los esfuerzos anticipados para regular la tecnología, la industria aún está buscando las mejores formas de indicar qué es falso. "Creo que crear esa distinción donde es importante es algo que será fundamental en el futuro", dice. "Especialmente si cada vez es más fácil crear un avatar o una persona virtual solo con base en un poco de información, creo que tener sistemas basados en permisos es fundamental". Porque de lo contrario, simplemente no podremos confiar en lo que ver."