Journal des citations pour l'incident 1
Entités
Voir toutes les entitésStatistiques d'incidents
Classifications de taxonomie CSETv0
Détails de la taxonomieFull Description
The content filtering system for YouTube's children's entertainment app, which incorporated algorithmic filters and human reviewers, failed to screen out inappropriate material, exposing an unknown number of children to videos that included sex, drugs, violence, profanity, and conspiracy theories. Many of the videos, which apparently numbered in the thousands, closely resembled popular children's cartoons such as Peppa Pig, but included disturbing or age-inappropriate content. Additional filters provided by YouTube, such as a "restricted mode" filter, failed to block all of these videos, and YouTube's recommendation algorithm recommended them to child viewers, increasing the harm. The problem was reported as early as 2015 and was ongoing through 2018.
Short Description
YouTube’s content filtering and recommendation algorithms exposed children to disturbing and inappropriate videos.
Severity
Moderate
Harm Distribution Basis
Age
Harm Type
Psychological harm
AI System Description
"A content filtering system incorporating machine learning algorithms and human reviewers. The system was meant to screen out videos that were unsuitable for children to view or that violated YouTube's terms of service. These videos were initially collected either algorithmically or on the basis of user reports. A recommendation system that suggested videos to viewers based on their viewing history on the platform."
System Developer
YouTube
Sector of Deployment
Arts, entertainment and recreation
Relevant AI functions
Perception, Cognition, Action
AI Techniques
machine learning
AI Applications
content filtering, decision support, curation, recommendation engine
Location
Global
Named Entities
Google, YouTube, YouTube Kids
Technology Purveyor
Google, YouTube
Beginning Date
2015-01-01T00:00:00.000Z
Ending Date
2018-12-31T00:00:00.000Z
Near Miss
Unclear/unknown
Intent
Accident
Lives Lost
No
Data Inputs
Videos
Classifications de taxonomie GMF
Détails de la taxonomieKnown AI Goal
Content Recommendation, Content Search, Hate Speech Detection, NSFW Content Detection
Known AI Technology
Content-based Filtering, Collaborative Filtering
Potential AI Technology
Classification, Ensemble Aggregation, Distributional Learning
Known AI Technical Failure
Tuning Issues, Lack of Adversarial Robustness, Adversarial Data
Potential AI Technical Failure
Concept Drift, Generalization Failure, Misconfigured Aggregation, Distributional Bias, Misaligned Objective
Classifications de taxonomie CSETv1
Détails de la taxonomieHarm Distribution Basis
none
Sector of Deployment
Arts, entertainment and recreation, information and communication
Rapports d'incidents
Chronologie du rapport
- Afficher le rapport d'origine à sa source
- Voir le rapport sur l'Archive d'Internet
Des groupes de défense des enfants et des consommateurs se sont plaints mardi auprès de la Federal Trade Commission que la nouvelle application YouTube Kids de Google contient du "contenu inapproprié", y compris un langage sexuel explicite …
- Afficher le rapport d'origine à sa source
- Voir le rapport sur l'Archive d'Internet
Des vidéos remplies de blasphèmes, de matériel sexuellement explicite, de références à l'alcool, au tabagisme et à la drogue - c'est ce que les parents trouvent sur l'application YouTube Kids de Google. C'est vrai - son application pour enf…
- Afficher le rapport d'origine à sa source
- Voir le rapport sur l'Archive d'Internet
Mise à jour, 7 novembre 2017 : AUJOURD'HUI, les parents partagent cette histoire de 2016, car une nouvelle série de vidéos inappropriées est apparue sur YouTube Kids et fait la une des journaux. Bien que les noms de chaînes et les personnag…
- Afficher le rapport d'origine à sa source
- Voir le rapport sur l'Archive d'Internet
La lecture multimédia n'est pas prise en charge sur votre appareil
Des milliers de vidéos sur YouTube ressemblent à des versions de dessins animés populaires, mais contiennent un contenu dérangeant et inapproprié qui ne convient pas aux enf…
- Afficher le rapport d'origine à sa source
- Voir le rapport sur l'Archive d'Internet
Une vidéo hors marque de Paw Patrol intitulée "Babies Pretend to Die Suicide" présente plusieurs scénarios inquiétants. Youtube
Les parents qui laissent leurs enfants regarder YouTube sans surveillance voudront peut-être faire plus attentio…
- Afficher le rapport d'origine à sa source
- Voir le rapport sur l'Archive d'Internet
Des articles de presse et des articles de blog récents ont mis en évidence les dessous de YouTube Kids, la version adaptée aux enfants de Google du vaste monde de YouTube. Bien que tout le contenu de YouTube Kids soit destiné aux enfants de…
- Afficher le rapport d'origine à sa source
- Voir le rapport sur l'Archive d'Internet
Plus tôt cette semaine, un reportage dans le New York Times et un article de blog sur Medium ont attiré l'attention sur un monde de vidéos étranges et parfois dérangeantes sur YouTube destinées aux jeunes enfants. Le genre, dont nous avons …
- Afficher le rapport d'origine à sa source
- Voir le rapport sur l'Archive d'Internet
Au cours des dernières semaines, le monde a appris à travers un certain nombre de rapports que YouTube est en proie à des problèmes avec le contenu pour enfants. La société a intensifié la modération ces dernières semaines pour lutter contr…
- Afficher le rapport d'origine à sa source
- Voir le rapport sur l'Archive d'Internet
YouTube, propriété de Google, a de nouveau présenté ses excuses après la diffusion de vidéos plus dérangeantes sur son application YouTube Kids.
Les enquêteurs ont trouvé plusieurs vidéos inadaptées, dont celle d'un avion en feu du dessin a…
- Afficher le rapport d'origine à sa source
- Voir le rapport sur l'Archive d'Internet
Les enfants ont pu regarder les vidéos complotistes de David Icke via YouTube Kids. Flickr/Tyler Merbler
L'application de YouTube spécifiquement pour les enfants est destinée à filtrer le contenu pour adultes et à fournir un "monde d'appren…
- Afficher le rapport d'origine à sa source
- Voir le rapport sur l'Archive d'Internet
Vidéo fixe d'une version reproduite de Minnie Mouse, qui est apparue sur la chaîne Simple Fun maintenant suspendue Simple Fun / WIRED
Les vidéos YouTube utilisant des termes de recherche destinés aux enfants échappent aux tentatives de l'en…
- Afficher le rapport d'origine à sa source
- Voir le rapport sur l'Archive d'Internet
YouTube Kids, qui a été critiqué pour avoir recommandé par inadvertance des vidéos dérangeantes aux enfants, a déclaré mercredi qu'il introduirait plusieurs façons pour les parents de limiter ce qui peut être regardé sur l'application popul…
- Afficher le rapport d'origine à sa source
- Voir le rapport sur l'Archive d'Internet
Après plusieurs signalements de contenu inapproprié sur YouTube au cours de l'année écoulée, "Good Morning America" a voulu examiner de plus près le site. À quelle fréquence les enfants finissent-ils par voir du contenu inapproprié sur la p…
- Afficher le rapport d'origine à sa source
- Voir le rapport sur l'Archive d'Internet
YouTube est à la fois une industrie massive et un incontournable de la navigation que les gens utilisent pour répondre à leurs besoins éducatifs et de divertissement. Selon Business Insider, le site Web accumule environ 1,8 milliard d'utili…
Variantes
Incidents similaires
Did our AI mess up? Flag the unrelated incidents
Whoops, Alexa Plays Porn Instead of a Kids Song!
Amazon Censors Gay Books
Incidents similaires
Did our AI mess up? Flag the unrelated incidents
Whoops, Alexa Plays Porn Instead of a Kids Song!