Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Incidente 1: Google’s YouTube Kids App Presents Inappropriate Content

Descripción: YouTube’s content filtering and recommendation algorithms exposed children to disturbing and inappropriate videos.

Herramientas

Nuevo InformeNuevo InformeNueva RespuestaNueva RespuestaDescubrirDescubrirVer HistorialVer Historial

Entidades

Ver todas las entidades
Presunto: un sistema de IA desarrollado e implementado por YouTube, perjudicó a Children.

Estadísticas de incidentes

ID
1
Cantidad de informes
14
Fecha del Incidente
2015-05-19
Editores
Sean McGregor
Applied Taxonomies
CSETv0, GMF, CSETv1, MIT

Clasificaciones de la Taxonomía CSETv0

Detalles de la Taxonomía

Problem Nature

Indicates which, if any, of the following types of AI failure describe the incident: "Specification," i.e. the system's behavior did not align with the true intentions of its designer, operator, etc; "Robustness," i.e. the system operated unsafely because of features or changes in its environment, or in the inputs the system received; "Assurance," i.e. the system could not be adequately monitored or controlled during operation.
 

Unknown/unclear

Physical System

Where relevant, indicates whether the AI system(s) was embedded into or tightly associated with specific types of hardware.
 

Software only

Nature of End User

"Expert" if users with special training or technical expertise were the ones meant to benefit from the AI system(s)’ operation; "Amateur" if the AI systems were primarily meant to benefit the general public or untrained users.
 

Amateur

Public Sector Deployment

"Yes" if the AI system(s) involved in the accident were being used by the public sector or for the administration of public goods (for example, public transportation). "No" if the system(s) were being used in the private sector or for commercial purposes (for example, a ride-sharing company), on the other.
 

No

Data Inputs

A brief description of the data that the AI system(s) used or were trained on.
 

Videos

Lives Lost

Were human lives lost as a result of the incident?
 

No

Clasificaciones de la Taxonomía GMF

Detalles de la Taxonomía

Known AI Goal Snippets

One or more snippets that justify the classification.
 

(Snippet Text: An off-brand Paw Patrol video called "Babies Pretend to Die Suicide" features several disturbing scenarios. The YouTube Kids app filters out most - but not all - of the disturbing videos.

Before any video appears in the YouTube Kids app, it's filtered by algorithms that are supposed to identify appropriate children's content YouTube also has a team of human moderators that review any videos flagged in the main YouTube app by volunteer Contributors (users who flag inappropriate content) or by systems that identify recognizable children's characters in the questionable video. Many of those views came from YouTube's "up next" and "recommended" video section that appears while watching any video. YouTube's algorithms attempt to find videos that you may want to watch based on the video you chose to watch first If you don't pick another video to watch after the current video ends, the "up next" video will automatically play. , Related Classifications: Content Recommendation, Content Search)

Clasificaciones de la Taxonomía CSETv1

Detalles de la Taxonomía

Incident Number

The number of the incident in the AI Incident Database.
 

1

Special Interest Intangible Harm

An assessment of whether a special interest intangible harm occurred. This assessment does not consider the context of the intangible harm, if an AI was involved, or if there is characterizable class or subgroup of harmed entities. It is also not assessing if an intangible harm occurred. It is only asking if a special interest intangible harm occurred.
 

yes

Date of Incident Year

The year in which the incident occurred. If there are multiple harms or occurrences of the incident, list the earliest. If a precise date is unavailable, but the available sources provide a basis for estimating the year, estimate. Otherwise, leave blank. Enter in the format of YYYY
 

2016

Estimated Date

“Yes” if the data was estimated. “No” otherwise.
 

Yes

Multiple AI Interaction

“Yes” if two or more independently operating AI systems were involved. “No” otherwise.
 

no

Embedded

“Yes” if the AI is embedded in a physical system. “No” if it is not. “Maybe” if it is unclear.
 

no

Clasificaciones de la Taxonomía MIT

Machine-Classified
Detalles de la Taxonomía

Risk Subdomain

A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
 

1.2. Exposure to toxic content

Risk Domain

The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
 
  1. Discrimination and Toxicity

Entity

Which, if any, entity is presented as the main cause of the risk
 

AI

Timing

The stage in the AI lifecycle at which the risk is presented as occurring
 

Post-deployment

Intent

Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
 

Unintentional

Informes del Incidente

Cronología de Informes

+1
La aplicación YouTube Kids de Google criticada por "contenido inapropiado"
Retire la aplicación YouTube Kids hasta que elimine su contenido inapropiadoInquietante video de YouTube Kids muestra a Mickey Mouse con una pistolaLos inquietantes videos de YouTube que están engañando a los niños+3
YouTube tiene miles de videos inquietantes dirigidos a niños: Informe
La aplicación YouTube Kids TODAVÍA muestra videos perturbadores+2
YouTube sugirió videos de conspiraciones a niños usando su aplicación Kids
Lo que los padres deben saber sobre el contenido inapropiado en YouTubeYouTube Kids no es tan inocente como parece
La aplicación YouTube Kids de Google criticada por "contenido inapropiado"

La aplicación YouTube Kids de Google criticada por "contenido inapropiado"

blogs.wsj.com

Retire la aplicación YouTube Kids hasta que elimine su contenido inapropiado

Retire la aplicación YouTube Kids hasta que elimine su contenido inapropiado

change.org

Inquietante video de YouTube Kids muestra a Mickey Mouse con una pistola

Inquietante video de YouTube Kids muestra a Mickey Mouse con una pistola

today.com

Los inquietantes videos de YouTube que están engañando a los niños

Los inquietantes videos de YouTube que están engañando a los niños

bbc.com

YouTube tiene miles de videos inquietantes dirigidos a niños: Informe

YouTube tiene miles de videos inquietantes dirigidos a niños: Informe

businessinsider.com

YouTube tomará medidas enérgicas contra el contenido inapropiado enmascarado como dibujos animados para niños

YouTube tomará medidas enérgicas contra el contenido inapropiado enmascarado como dibujos animados para niños

arstechnica.com

YouTube dice que tomará medidas enérgicas contra videos extraños dirigidos a niños

YouTube dice que tomará medidas enérgicas contra videos extraños dirigidos a niños

theverge.com

YouTube Kids ha sido un problema desde 2015. ¿Por qué tomó tanto tiempo solucionarlo?

YouTube Kids ha sido un problema desde 2015. ¿Por qué tomó tanto tiempo solucionarlo?

polygon.com

La aplicación YouTube Kids TODAVÍA muestra videos perturbadores

La aplicación YouTube Kids TODAVÍA muestra videos perturbadores

dailymail.co.uk

YouTube sugirió videos de conspiraciones a niños usando su aplicación Kids

YouTube sugirió videos de conspiraciones a niños usando su aplicación Kids

businessinsider.com

YouTube para niños sigue derramando sangre, suicidio y canibalismo

YouTube para niños sigue derramando sangre, suicidio y canibalismo

wired.co.uk

YouTube Kids, criticado por su contenido, presenta nuevos controles para padres

YouTube Kids, criticado por su contenido, presenta nuevos controles para padres

nytimes.com

Lo que los padres deben saber sobre el contenido inapropiado en YouTube

Lo que los padres deben saber sobre el contenido inapropiado en YouTube

goodmorningamerica.com

YouTube Kids no es tan inocente como parece

YouTube Kids no es tan inocente como parece

studybreaks.com

La aplicación YouTube Kids de Google criticada por "contenido inapropiado"
blogs.wsj.com · 2015
Traducido por IA

Los grupos de defensa de los niños y los consumidores se quejaron ante la Comisión Federal de Comercio el martes de que la nueva aplicación YouTube Kids de Google contiene "contenido inapropiado", que incluye lenguaje sexual explícito y chi…

Retire la aplicación YouTube Kids hasta que elimine su contenido inapropiado
change.org · 2015
Traducido por IA

Videos llenos de blasfemias, material sexualmente explícito, alcohol, tabaco y referencias a drogas: esto es lo que los padres encuentran en la aplicación YouTube Kids de Google. Así es, es una aplicación para niños. Ahora, los padres de to…

Inquietante video de YouTube Kids muestra a Mickey Mouse con una pistola
today.com · 2016
Traducido por IA

Actualización, 7 de noviembre de 2017: HOY, Parents vuelve a compartir esta historia de 2016 porque una nueva serie de videos inapropiados han surgido en YouTube Kids y están en los titulares. Si bien los nombres de los canales y los person…

Los inquietantes videos de YouTube que están engañando a los niños
bbc.com · 2017
Traducido por IA

La reproducción multimedia no es compatible con su dispositivo

Miles de videos en YouTube parecen versiones de dibujos animados populares, pero contienen contenido perturbador e inapropiado que no es apto para niños.

Si no estás prestando m…

YouTube tiene miles de videos inquietantes dirigidos a niños: Informe
businessinsider.com · 2017
Traducido por IA

Un video de la Patrulla Canina fuera de marca llamado "Los bebés fingen morir suicidados" presenta varios escenarios inquietantes. Youtube

Los padres que dejan que sus hijos vean YouTube sin supervisión deberían prestar más atención a lo qu…

YouTube tomará medidas enérgicas contra el contenido inapropiado enmascarado como dibujos animados para niños
arstechnica.com · 2017
Traducido por IA

Las noticias recientes y las publicaciones de blog destacaron la parte más vulnerable de YouTube Kids, la versión de Google para niños del amplio mundo de YouTube. Si bien todo el contenido de YouTube Kids está destinado a ser adecuado para…

YouTube dice que tomará medidas enérgicas contra videos extraños dirigidos a niños
theverge.com · 2017
Traducido por IA

A principios de esta semana, un informe en The New York Times y una publicación de blog en Medium llamaron mucho la atención sobre un mundo de videos extraños y, a veces, perturbadores en YouTube dirigidos a niños pequeños. El género, del q…

YouTube Kids ha sido un problema desde 2015. ¿Por qué tomó tanto tiempo solucionarlo?
polygon.com · 2017
Traducido por IA

En las últimas semanas, el mundo se enteró a través de una serie de informes que YouTube está plagado de problemas con el contenido infantil. La compañía ha aumentado la moderación en las últimas semanas para combatir la ola de contenido in…

La aplicación YouTube Kids TODAVÍA muestra videos perturbadores
dailymail.co.uk · 2018
Traducido por IA

YouTube, propiedad de Google, se disculpó nuevamente después de que aparecieran más videos inquietantes en su aplicación YouTube Kids.

Los investigadores encontraron varios videos inadecuados, incluido uno de un avión en llamas de la carica…

YouTube sugirió videos de conspiraciones a niños usando su aplicación Kids
businessinsider.com · 2018
Traducido por IA

Los niños pudieron ver los videos de la conspiración de David Icke a través de YouTube Kids. Flickr/Tyler Merbler

La aplicación de YouTube específicamente para niños está destinada a filtrar el contenido para adultos y brindar un "mundo de …

YouTube para niños sigue derramando sangre, suicidio y canibalismo
wired.co.uk · 2018
Traducido por IA

Fotograma de video de una versión reproducida de Minnie Mouse, que apareció en el canal Simple Fun ahora suspendido Simple Fun / WIRED

Los videos de YouTube que utilizan términos de búsqueda orientados a los niños están evadiendo los intent…

YouTube Kids, criticado por su contenido, presenta nuevos controles para padres
nytimes.com · 2018
Traducido por IA

YouTube Kids, que ha sido criticado por recomendar inadvertidamente videos perturbadores a los niños, dijo el miércoles que introduciría varias formas para que los padres limiten lo que se puede ver en la popular aplicación.

A partir de est…

Lo que los padres deben saber sobre el contenido inapropiado en YouTube
goodmorningamerica.com · 2018
Traducido por IA

Después de varios informes de contenido inapropiado en YouTube durante el año pasado, "Good Morning America" quiso echar un vistazo más de cerca al sitio. ¿Con qué frecuencia los niños terminan viendo contenido inapropiado en la plataforma …

YouTube Kids no es tan inocente como parece
studybreaks.com · 2018
Traducido por IA

YouTube es una industria masiva y un elemento básico de navegación que la gente usa para satisfacer sus necesidades educativas y de entretenimiento. Según Business Insider, el sitio web acumula alrededor de 1.800 millones de usuarios regist…

Variantes

Una "Variante" es un incidente que comparte los mismos factores causales, produce daños similares e involucra los mismos sistemas inteligentes que un incidente de IA conocido. En lugar de indexar las variantes como incidentes completamente separados, enumeramos las variaciones de los incidentes bajo el primer incidente similar enviado a la base de datos. A diferencia de otros tipos de envío a la base de datos de incidentes, no se requiere que las variantes tengan informes como evidencia externa a la base de datos de incidentes. Obtenga más información del trabajo de investigación.

Incidentes Similares

Por similitud de texto

Did our AI mess up? Flag the unrelated incidents

Alexa Plays Pornography Instead of Kids Song

Whoops, Alexa Plays Porn Instead of a Kids Song!

Dec 2016 · 16 informes
Amazon Censors Gay Books

Amazon Censors Gay Books

May 2008 · 24 informes
Amazon Alexa Responding to Environmental Inputs

Top 5 AI Failures From 2017 Which Prove That ‘Perfect AI’ Is Still A Dream

Dec 2015 · 35 informes
Siguiente Incidente

Incidentes Similares

Por similitud de texto

Did our AI mess up? Flag the unrelated incidents

Alexa Plays Pornography Instead of Kids Song

Whoops, Alexa Plays Porn Instead of a Kids Song!

Dec 2016 · 16 informes
Amazon Censors Gay Books

Amazon Censors Gay Books

May 2008 · 24 informes
Amazon Alexa Responding to Environmental Inputs

Top 5 AI Failures From 2017 Which Prove That ‘Perfect AI’ Is Still A Dream

Dec 2015 · 35 informes

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • ecd56df