Entidades
Ver todas las entidadesEstadísticas de incidentes
Clasificaciones de la Taxonomía CSETv0
Detalles de la TaxonomíaFull Description
Google's Perspective API, which assigns a toxicity score to online text, has been shown to award higher toxicity scores to content involving non-white, male, Christian, heterosexual phrases. the scores lay on the spectrum between very healthy (low %) to very toxic (high %). The phrase "I am a man" received a score of 20% while "I am a gay black woman" received 87%. The bias exists within subcategories as well: "I am a man who is deaf" received 70%, "I am a person who is deaf" received 74%, and "I am a woman who is deaf" received 77%. The API can also be circumvented by modifying text: "They are liberal idiots who are uneducated" received 90% while "they are liberal idiots who are un.educated" received 15%.
Short Description
Google's Perspective API, which assigns a toxicity score to online text, seems to award higher toxicity scores to content involving non-white, male, Christian, heterosexual phrases.
Severity
Minor
Harm Distribution Basis
Race, Religion, National origin or immigrant status, Sex, Sexual orientation or gender identity, Disability, Ideology
Harm Type
Psychological harm, Harm to social or political systems
AI System Description
Google Perspective is an API designed using machine learning tactics to assign "toxicity" scores to online text with the oiginal intent of assisting in identifying hate speech and "trolling" on internet comments. Perspective is trained to recognize a variety of attributes (e.g. whether a comment is toxic, threatening, insulting, off-topic, etc.) using millions of examples gathered from several online platforms and reviewed by human annotators.
System Developer
Sector of Deployment
Information and communication
Relevant AI functions
Perception, Cognition, Action
AI Techniques
open-source, machine learning
AI Applications
Natural language processing, content ranking
Location
Global
Named Entities
Google, Google Cloud, Perspective API
Technology Purveyor
Beginning Date
2017-01-01T00:00:00.000Z
Ending Date
2017-01-01T00:00:00.000Z
Near Miss
Harm caused
Intent
Accident
Lives Lost
No
Data Inputs
Online comments
Clasificaciones de la Taxonomía GMF
Detalles de la TaxonomíaKnown AI Goal
Hate Speech Detection
Known AI Technology
Character NGrams
Potential AI Technology
Distributional Learning
Known AI Technical Failure
Context Misidentification, Generalization Failure, Lack of Adversarial Robustness
Potential AI Technical Failure
Limited Dataset, Misaligned Objective, Underfitting, Distributional Bias, Data or Labelling Noise
Informes del Incidente
Cronología de Informes
- Ver el informe original en su fuente
- Ver el informe en el Archivo de Internet
Ayer, Google y su empresa hermana, Alphabet, Jigsaw, anunciaron Perspective, una herramienta que utiliza el aprendizaje automático para vigilar Internet contra el discurso de odio. La compañía anunció la tecnología como un arma incipiente p…
- Ver el informe original en su fuente
- Ver el informe en el Archivo de Internet
En los ejemplos a continuación sobre temas candentes del cambio climático, el Brexit y las recientes elecciones estadounidenses, que se tomaron directamente del sitio web de Perspective API, el equipo de UW simplemente escribió mal o agregó…
- Ver el informe original en su fuente
- Ver el informe en el Archivo de Internet
La herramienta de IA de Google que se utiliza para marcar los "comentarios ofensivos" tiene un sesgo aparentemente incorporado contra los puntos de vista conservadores y libertarios.
Perspective API, un "modelo de aprendizaje automático" de…
- Ver el informe original en su fuente
- Ver el informe en el Archivo de Internet
¿No odias lo viles que son algunas personas en Internet? ¿Qué tan fácil se ha vuelto decir cosas horribles e hirientes sobre otros grupos e individuos? ¿Cómo se está utilizando esta herramienta que se suponía que debía difundir el conocimie…
- Ver el informe original en su fuente
- Ver el informe en el Archivo de Internet
El mes pasado, escribí una publicación de blog advirtiendo sobre cómo, si sigues las tendencias populares en PNL, puedes crear accidentalmente un clasificador bastante racista. Para demostrar esto, incluí el código muy simple, como un "tuto…
- Ver el informe original en su fuente
- Ver el informe en el Archivo de Internet
A medida que la política en los EE. UU. y Europa se ha vuelto cada vez más divisiva, los escritores de artículos de opinión y los políticos han presionado por más "civismo" en nuestros debates, incluso en línea. En medio de este impulso, su…
- Ver el informe original en su fuente
- Ver el informe en el Archivo de Internet
La API subyacente utilizada para determinar la "toxicidad" califica frases como "Soy una mujer negra gay" con un 87 por ciento de toxicidad, y frases como "Soy un hombre" como la menos tóxica. La API, llamada Perspective, está hecha por Alp…
- Ver el informe original en su fuente
- Ver el informe en el Archivo de Internet
Resumen
La capacidad de cuantificar la falta de civismo en línea, en las noticias y en los debates del Congreso es de gran interés para los politólogos. Las herramientas computacionales para detectar la falta de civismo en línea para el ing…
- Ver el informe original en su fuente
- Ver el informe en el Archivo de Internet
Según una encuesta del Pew Center de 2019, la mayoría de los encuestados creen que el tono y la naturaleza del debate político en los EE. UU. se han vuelto más negativos y menos respetuosos. Esta observación ha motivado a los científicos a …
Variantes
Incidentes Similares
Did our AI mess up? Flag the unrelated incidents
Incidentes Similares
Did our AI mess up? Flag the unrelated incidents