Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 4842

Incidentes Asociados

Incidente 9631 Reporte
Google Reports Alleged Gemini-Generated Terrorism and Child Exploitation to Australian eSafety Commission

Loading...
Google informa al regulador australiano de la magnitud de las quejas sobre contenidos terroristas falsificados mediante inteligencia artificial
reuters.com · 2025

SÍDNEY, 6 de marzo (Reuters) - Google informó a las autoridades australianas de que recibió más de 250 denuncias en todo el mundo durante casi un año de que su software de inteligencia artificial se utilizó para crear material de terrorismo deepfake.

El gigante tecnológico propiedad de Alphabet también dijo que había recibido docenas de informes de usuarios que advertían de que su programa de inteligencia artificial, Gemini, se estaba utilizando para crear material de abuso infantil, según la Comisión Australiana de Seguridad Electrónica.

Según la ley australiana, las empresas tecnológicas deben proporcionar periódicamente a la Comisión de Seguridad Electrónica información sobre los esfuerzos de minimización de daños o se arriesgan a multas. El período del informe abarcó de abril de 2023 a febrero de 2024.

Desde que ChatGPT de OpenAI irrumpió en la conciencia pública a fines de 2022, los reguladores de todo el mundo han pedido mejores barreras para que la IA no se pueda utilizar para permitir el terrorismo, el fraude, la pornografía deepfake y otros abusos.

La Comisión de Seguridad Electrónica de Australia calificó la revelación de Google como "una revelación pionera en el mundo" sobre cómo los usuarios pueden estar explotando la tecnología para producir contenido dañino e ilegal.

"Esto subraya lo fundamental que es para las empresas que desarrollan productos de IA incorporar y probar la eficacia de las salvaguardas para evitar que se genere este tipo de material", dijo la comisionada de seguridad electrónica Julie Inman Grant en un comunicado.

En su informe, Google dijo que recibió 258 informes de usuarios sobre contenido terrorista o extremista violento generado por IA utilizando Gemini, y otros 86 informes de usuarios que alegaban material de explotación o abuso infantil generado por IA.

No dijo cuántas de las quejas verificó, según el regulador.

Un portavoz de Google dijo que no permitía la generación o distribución de contenido relacionado con la facilitación del extremismo violento o el terrorismo, la explotación o el abuso infantil u otras actividades ilegales.

"Estamos comprometidos a ampliar nuestros esfuerzos para ayudar a mantener seguros a los australianos en línea", dijo el portavoz por correo electrónico.

"La cantidad de informes de usuarios de Gemini que proporcionamos a eSafety representa el volumen global total de informes de usuarios, no las violaciones de políticas confirmadas".

Google utilizó el sistema de comparación de tramas (un sistema que combina automáticamente imágenes recién cargadas con imágenes ya conocidas) para identificar y eliminar el material de abuso infantil creado con Gemini.

Pero no utilizó el mismo sistema para eliminar el material terrorista o extremista violento generado con Gemini, agregó el regulador.

El regulador ha multado a Telegram y a Twitter,, posteriormente rebautizada como X, por lo que llamó deficiencias en sus informes. X ha perdido una apelación (https://www.reuters.com/technology/australian-court-upholds-order-musks-x-pay-418000-fine-over-anti-child-abuse-2024-10-04/) sobre su multa de 610.500 dólares australianos (382.000 dólares), pero planea apelar de nuevo. Telegram también planea impugnar su multa.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd