Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Incident 1: Google’s YouTube Kids App Presents Inappropriate Content

Description: YouTube’s content filtering and recommendation algorithms exposed children to disturbing and inappropriate videos.

Outils

Nouveau rapportNouveau rapportNouvelle RéponseNouvelle RéponseDécouvrirDécouvrirVoir l'historiqueVoir l'historique

Entités

Voir toutes les entités
Présumé : Un système d'IA développé et mis en œuvre par YouTube, a endommagé Children.

Statistiques d'incidents

ID
1
Nombre de rapports
14
Date de l'incident
2015-05-19
Editeurs
Sean McGregor
Applied Taxonomies
CSETv0, GMF, CSETv1, MIT

Classifications de taxonomie CSETv0

Détails de la taxonomie

Problem Nature

Indicates which, if any, of the following types of AI failure describe the incident: "Specification," i.e. the system's behavior did not align with the true intentions of its designer, operator, etc; "Robustness," i.e. the system operated unsafely because of features or changes in its environment, or in the inputs the system received; "Assurance," i.e. the system could not be adequately monitored or controlled during operation.
 

Unknown/unclear

Physical System

Where relevant, indicates whether the AI system(s) was embedded into or tightly associated with specific types of hardware.
 

Software only

Nature of End User

"Expert" if users with special training or technical expertise were the ones meant to benefit from the AI system(s)’ operation; "Amateur" if the AI systems were primarily meant to benefit the general public or untrained users.
 

Amateur

Public Sector Deployment

"Yes" if the AI system(s) involved in the accident were being used by the public sector or for the administration of public goods (for example, public transportation). "No" if the system(s) were being used in the private sector or for commercial purposes (for example, a ride-sharing company), on the other.
 

No

Data Inputs

A brief description of the data that the AI system(s) used or were trained on.
 

Videos

Lives Lost

Were human lives lost as a result of the incident?
 

No

Classifications de taxonomie GMF

Détails de la taxonomie

Known AI Goal Snippets

One or more snippets that justify the classification.
 

(Snippet Text: An off-brand Paw Patrol video called "Babies Pretend to Die Suicide" features several disturbing scenarios. The YouTube Kids app filters out most - but not all - of the disturbing videos.

Before any video appears in the YouTube Kids app, it's filtered by algorithms that are supposed to identify appropriate children's content YouTube also has a team of human moderators that review any videos flagged in the main YouTube app by volunteer Contributors (users who flag inappropriate content) or by systems that identify recognizable children's characters in the questionable video. Many of those views came from YouTube's "up next" and "recommended" video section that appears while watching any video. YouTube's algorithms attempt to find videos that you may want to watch based on the video you chose to watch first If you don't pick another video to watch after the current video ends, the "up next" video will automatically play. , Related Classifications: Content Recommendation, Content Search)

Classifications de taxonomie CSETv1

Détails de la taxonomie

Incident Number

The number of the incident in the AI Incident Database.
 

1

Special Interest Intangible Harm

An assessment of whether a special interest intangible harm occurred. This assessment does not consider the context of the intangible harm, if an AI was involved, or if there is characterizable class or subgroup of harmed entities. It is also not assessing if an intangible harm occurred. It is only asking if a special interest intangible harm occurred.
 

yes

Date of Incident Year

The year in which the incident occurred. If there are multiple harms or occurrences of the incident, list the earliest. If a precise date is unavailable, but the available sources provide a basis for estimating the year, estimate. Otherwise, leave blank. Enter in the format of YYYY
 

2016

Estimated Date

“Yes” if the data was estimated. “No” otherwise.
 

Yes

Multiple AI Interaction

“Yes” if two or more independently operating AI systems were involved. “No” otherwise.
 

no

Embedded

“Yes” if the AI is embedded in a physical system. “No” if it is not. “Maybe” if it is unclear.
 

no

Classifications de taxonomie MIT

Machine-Classified
Détails de la taxonomie

Risk Subdomain

A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
 

1.2. Exposure to toxic content

Risk Domain

The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
 
  1. Discrimination and Toxicity

Entity

Which, if any, entity is presented as the main cause of the risk
 

AI

Timing

The stage in the AI lifecycle at which the risk is presented as occurring
 

Post-deployment

Intent

Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
 

Unintentional

Rapports d'incidents

Chronologie du rapport

+1
L'application YouTube Kids de Google critiquée pour son "contenu inapproprié"
Supprimer l'application YouTube Kids jusqu'à ce qu'elle élimine son contenu inappropriéUne vidéo troublante de YouTube Kids montre Mickey Mouse avec une arme à feuLes vidéos YouTube dérangeantes qui trompent les enfants+3
YouTube propose des milliers de vidéos dérangeantes destinées aux enfants : rapport
L'application YouTube Kids affiche TOUJOURS des vidéos dérangeantes+2
YouTube a suggéré des vidéos complotistes aux enfants à l'aide de son application Kids
Ce que les parents doivent savoir sur les contenus inappropriés sur YouTubeYouTube Kids est loin d'être aussi innocent qu'il y paraît
L'application YouTube Kids de Google critiquée pour son "contenu inapproprié"

L'application YouTube Kids de Google critiquée pour son "contenu inapproprié"

blogs.wsj.com

Supprimer l'application YouTube Kids jusqu'à ce qu'elle élimine son contenu inapproprié

Supprimer l'application YouTube Kids jusqu'à ce qu'elle élimine son contenu inapproprié

change.org

Une vidéo troublante de YouTube Kids montre Mickey Mouse avec une arme à feu

Une vidéo troublante de YouTube Kids montre Mickey Mouse avec une arme à feu

today.com

Les vidéos YouTube dérangeantes qui trompent les enfants

Les vidéos YouTube dérangeantes qui trompent les enfants

bbc.com

YouTube propose des milliers de vidéos dérangeantes destinées aux enfants : rapport

YouTube propose des milliers de vidéos dérangeantes destinées aux enfants : rapport

businessinsider.com

YouTube va sévir contre les contenus inappropriés masqués comme des dessins animés pour enfants

YouTube va sévir contre les contenus inappropriés masqués comme des dessins animés pour enfants

arstechnica.com

YouTube dit qu'il réprimera les vidéos bizarres ciblant les enfants

YouTube dit qu'il réprimera les vidéos bizarres ciblant les enfants

theverge.com

YouTube Kids est un problème depuis 2015. Pourquoi a-t-il fallu si longtemps pour le résoudre ?

YouTube Kids est un problème depuis 2015. Pourquoi a-t-il fallu si longtemps pour le résoudre ?

polygon.com

L'application YouTube Kids affiche TOUJOURS des vidéos dérangeantes

L'application YouTube Kids affiche TOUJOURS des vidéos dérangeantes

dailymail.co.uk

YouTube a suggéré des vidéos complotistes aux enfants à l'aide de son application Kids

YouTube a suggéré des vidéos complotistes aux enfants à l'aide de son application Kids

businessinsider.com

YouTube pour enfants produit toujours du sang, du suicide et du cannibalisme

YouTube pour enfants produit toujours du sang, du suicide et du cannibalisme

wired.co.uk

YouTube Kids, critiqué pour son contenu, introduit de nouveaux contrôles parentaux

YouTube Kids, critiqué pour son contenu, introduit de nouveaux contrôles parentaux

nytimes.com

Ce que les parents doivent savoir sur les contenus inappropriés sur YouTube

Ce que les parents doivent savoir sur les contenus inappropriés sur YouTube

goodmorningamerica.com

YouTube Kids est loin d'être aussi innocent qu'il y paraît

YouTube Kids est loin d'être aussi innocent qu'il y paraît

studybreaks.com

L'application YouTube Kids de Google critiquée pour son "contenu inapproprié"
blogs.wsj.com · 2015
Traduit par IA

Des groupes de défense des enfants et des consommateurs se sont plaints mardi auprès de la Federal Trade Commission que la nouvelle application YouTube Kids de Google contient du "contenu inapproprié", y compris un langage sexuel explicite …

Supprimer l'application YouTube Kids jusqu'à ce qu'elle élimine son contenu inapproprié
change.org · 2015
Traduit par IA

Des vidéos remplies de blasphèmes, de matériel sexuellement explicite, de références à l'alcool, au tabagisme et à la drogue - c'est ce que les parents trouvent sur l'application YouTube Kids de Google. C'est vrai - son application pour enf…

Une vidéo troublante de YouTube Kids montre Mickey Mouse avec une arme à feu
today.com · 2016
Traduit par IA

Mise à jour, 7 novembre 2017 : AUJOURD'HUI, les parents partagent cette histoire de 2016, car une nouvelle série de vidéos inappropriées est apparue sur YouTube Kids et fait la une des journaux. Bien que les noms de chaînes et les personnag…

Les vidéos YouTube dérangeantes qui trompent les enfants
bbc.com · 2017
Traduit par IA

La lecture multimédia n'est pas prise en charge sur votre appareil

Des milliers de vidéos sur YouTube ressemblent à des versions de dessins animés populaires, mais contiennent un contenu dérangeant et inapproprié qui ne convient pas aux enf…

YouTube propose des milliers de vidéos dérangeantes destinées aux enfants : rapport
businessinsider.com · 2017
Traduit par IA

Une vidéo hors marque de Paw Patrol intitulée "Babies Pretend to Die Suicide" présente plusieurs scénarios inquiétants. Youtube

Les parents qui laissent leurs enfants regarder YouTube sans surveillance voudront peut-être faire plus attentio…

YouTube va sévir contre les contenus inappropriés masqués comme des dessins animés pour enfants
arstechnica.com · 2017
Traduit par IA

Des articles de presse et des articles de blog récents ont mis en évidence les dessous de YouTube Kids, la version adaptée aux enfants de Google du vaste monde de YouTube. Bien que tout le contenu de YouTube Kids soit destiné aux enfants de…

YouTube dit qu'il réprimera les vidéos bizarres ciblant les enfants
theverge.com · 2017
Traduit par IA

Plus tôt cette semaine, un reportage dans le New York Times et un article de blog sur Medium ont attiré l'attention sur un monde de vidéos étranges et parfois dérangeantes sur YouTube destinées aux jeunes enfants. Le genre, dont nous avons …

YouTube Kids est un problème depuis 2015. Pourquoi a-t-il fallu si longtemps pour le résoudre ?
polygon.com · 2017
Traduit par IA

Au cours des dernières semaines, le monde a appris à travers un certain nombre de rapports que YouTube est en proie à des problèmes avec le contenu pour enfants. La société a intensifié la modération ces dernières semaines pour lutter contr…

L'application YouTube Kids affiche TOUJOURS des vidéos dérangeantes
dailymail.co.uk · 2018
Traduit par IA

YouTube, propriété de Google, a de nouveau présenté ses excuses après la diffusion de vidéos plus dérangeantes sur son application YouTube Kids.

Les enquêteurs ont trouvé plusieurs vidéos inadaptées, dont celle d'un avion en feu du dessin a…

YouTube a suggéré des vidéos complotistes aux enfants à l'aide de son application Kids
businessinsider.com · 2018
Traduit par IA

Les enfants ont pu regarder les vidéos complotistes de David Icke via YouTube Kids. Flickr/Tyler Merbler

L'application de YouTube spécifiquement pour les enfants est destinée à filtrer le contenu pour adultes et à fournir un "monde d'appren…

YouTube pour enfants produit toujours du sang, du suicide et du cannibalisme
wired.co.uk · 2018
Traduit par IA

Vidéo fixe d'une version reproduite de Minnie Mouse, qui est apparue sur la chaîne Simple Fun maintenant suspendue Simple Fun / WIRED

Les vidéos YouTube utilisant des termes de recherche destinés aux enfants échappent aux tentatives de l'en…

YouTube Kids, critiqué pour son contenu, introduit de nouveaux contrôles parentaux
nytimes.com · 2018
Traduit par IA

YouTube Kids, qui a été critiqué pour avoir recommandé par inadvertance des vidéos dérangeantes aux enfants, a déclaré mercredi qu'il introduirait plusieurs façons pour les parents de limiter ce qui peut être regardé sur l'application popul…

Ce que les parents doivent savoir sur les contenus inappropriés sur YouTube
goodmorningamerica.com · 2018
Traduit par IA

Après plusieurs signalements de contenu inapproprié sur YouTube au cours de l'année écoulée, "Good Morning America" a voulu examiner de plus près le site. À quelle fréquence les enfants finissent-ils par voir du contenu inapproprié sur la p…

YouTube Kids est loin d'être aussi innocent qu'il y paraît
studybreaks.com · 2018
Traduit par IA

YouTube est à la fois une industrie massive et un incontournable de la navigation que les gens utilisent pour répondre à leurs besoins éducatifs et de divertissement. Selon Business Insider, le site Web accumule environ 1,8 milliard d'utili…

Variantes

Une "Variante" est un incident qui partage les mêmes facteurs de causalité, produit des dommages similaires et implique les mêmes systèmes intelligents qu'un incident d'IA connu. Plutôt que d'indexer les variantes comme des incidents entièrement distincts, nous listons les variations d'incidents sous le premier incident similaire soumis à la base de données. Contrairement aux autres types de soumission à la base de données des incidents, les variantes ne sont pas tenues d'avoir des rapports en preuve externes à la base de données des incidents. En savoir plus sur le document de recherche.

Incidents similaires

Par similarité textuelle

Did our AI mess up? Flag the unrelated incidents

Alexa Plays Pornography Instead of Kids Song

Whoops, Alexa Plays Porn Instead of a Kids Song!

Dec 2016 · 16 rapports
Amazon Censors Gay Books

Amazon Censors Gay Books

May 2008 · 24 rapports
Amazon Alexa Responding to Environmental Inputs

Top 5 AI Failures From 2017 Which Prove That ‘Perfect AI’ Is Still A Dream

Dec 2015 · 35 rapports
Prochain incident

Incidents similaires

Par similarité textuelle

Did our AI mess up? Flag the unrelated incidents

Alexa Plays Pornography Instead of Kids Song

Whoops, Alexa Plays Porn Instead of a Kids Song!

Dec 2016 · 16 rapports
Amazon Censors Gay Books

Amazon Censors Gay Books

May 2008 · 24 rapports
Amazon Alexa Responding to Environmental Inputs

Top 5 AI Failures From 2017 Which Prove That ‘Perfect AI’ Is Still A Dream

Dec 2015 · 35 rapports

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • ecd56df