Incidente 1157: Según informes, Google Gemini genera juegos de rol sexuales para cuentas registradas como menores de edad.
Descripción: En la primavera de 2025, un periodista creó una cuenta de Google Gemini a nombre de un adolescente ficticio de 13 años para probar las protecciones de seguridad del chatbot. A pesar de las medidas de seguridad adicionales, las solicitudes de manipulación inmediata y resumen de contenido supuestamente eludieron los filtros, lo que llevó a Gemini a generar contenido de juegos de rol sexuales. Tras la publicación del artículo, Google implementó protecciones adicionales.
Editor Notes: Timeline note: The date of publication of the Atlantic article that forms this incident is 07/14/2025, but the author encountered the incident sometime in the spring of 2025.
Entidades
Ver todas las entidadesAlleged: Google developed an AI system deployed by Google Gemini, which harmed Minors interacting with Google Gemini.
Sistema de IA presuntamente implicado: Google Gemini
Estadísticas de incidentes
ID
1157
Cantidad de informes
1
Fecha del Incidente
2025-07-14
Editores
Daniel Atherton
Informes del Incidente
Cronología de Informes
Una tarde de esta primavera, creé una cuenta de Google para una adolescente falsa de 13 años llamada Jane (yo tengo 23) y abrí Gemini, el chatbot de IA de la compañía. Como Jane era menor de edad, Google me dirigió automáticamente a una ver…
Variantes
Una "Variante" es un incidente de IA similar a un caso conocido—tiene los mismos causantes, daños y sistema de IA. En lugar de enumerarlo por separado, lo agrupamos bajo el primer incidente informado. A diferencia de otros incidentes, las variantes no necesitan haber sido informadas fuera de la AIID. Obtenga más información del trabajo de investigación.
¿Has visto algo similar?
Incidentes Similares
Did our AI mess up? Flag the unrelated incidents

TayBot
· 28 informes

Inappropriate Gmail Smart Reply Suggestions
· 22 informes
Incidentes Similares
Did our AI mess up? Flag the unrelated incidents

TayBot
· 28 informes

Inappropriate Gmail Smart Reply Suggestions
· 22 informes