Incidentes Asociados
Grok Imagine, la nueva herramienta de IA generativa de xAI, creó deepfakes explícitos de Taylor Swift, sin que se le pidiera específicamente que lo hiciera, según The Verge. Mashable informó ayer que Grok Imagine carece incluso de las medidas de seguridad básicas en torno a los deepfakes sexuales, y nuestras pruebas arrojaron resultados similares a los de The Verge.
Jess Weatherbed, de The Verge, descubrió que Grok Imagine "generaba videos completos sin censura en topless" la primera vez que usó la herramienta. No le pidió al bot que mostrara a Swift en topless, pero al activar el modo "picante" de Grok Imagine, este generó un video en el que Swift se arrancó la ropa y comenzó a bailar en tanga.
Como señaló Weatherbed, Grok Imagine no generaba desnudos totales ni parciales si se le solicitaba; en su lugar, la herramienta generaba cuadrados en blanco. El modo "picante", una configuración predeterminada que genera contenido no apto para el trabajo (NSFW), no siempre muestra desnudos, pero sí mostró a Swift "arrancándose casi toda la ropa" en varios videos.
Esta no es la primera vez que la X de Elon Musk se asocia con deepfakes de Swift. En enero de 2024, imágenes pornográficas generadas por IA que representaban a Swift se viralizaron en X, lo que generó críticas. Esto sucedió a pesar del hecho de que X explícitamente prohíbe publicar desnudez no consensuada y "medios sintéticos, manipulados o fuera de contexto" que engañan deliberadamente a los usuarios o afirman Representan la realidad.
Las políticas de xAI [https://x.ai/legal/acceptable-use-policy "(se abre en una nueva ventana)") también prohíben "representar la imagen de personas de forma pornográfica". Y como informó ayer Timothy Beck Werth de Mashable [https://mashable.com/article/xai-grok-imagine-sexual-deepfakes], Grok Imagine "carece de las medidas de seguridad estándar de la industria para prevenir los deepfakes y el contenido sexual".
Mashable contactó repetidamente a xAI, pero no hemos recibido respuesta.
Los deepfakes se han convertido en una preocupación creciente para los legisladores, pero las leyes contra este tipo de comportamiento y contenido aún están en sus primeras etapas. En un estudio de 2023, el 98 por ciento de los deepfakes en línea eran pornográficos; de esos videos, el 99 por ciento mostraba a mujeres. A nivel mundial, los gobiernos han buscado abordar lo que se ha denominado una crisis de la era digital. El presidente Donald Trump formalizó recientemente la Ley Take It Down (https://mashable.com/article/trump-signs-take-it-down-act?test_uuid=003aGE6xTMbhuvdzpnH5X4Q&test_variant=a), una controvertida legislación que convierte en un delito federal publicar o amenazar con publicar imágenes íntimas no consensuadas.