Journal des citations pour l'incident 65

Description: OpenAI published a post about its findings when using Universe, a software for measuring and training AI agents to conduct reinforcement learning experiments, showing that the AI agent did not act in the way intended to complete a videogame.

Outils

Nouveau rapportNouveau rapportNouvelle RéponseNouvelle RéponseDécouvrirDécouvrirVoir l'historiqueVoir l'historique
Présumé : Un système d'IA développé et mis en œuvre par OpenAI, endommagé OpenAI.

Statistiques d'incidents

ID
65
Nombre de rapports
1
Date de l'incident
2016-12-22
Editeurs
Sean McGregor

Classifications de taxonomie CSETv0

Détails de la taxonomie

Full Description

OpenAI published a post about its findings when using Universe, a software for measuring and training AI agents to conduct reinforcement learning experiments.Universe was used to train an AI system to play the videogame CoastRunners, a plane racing game. Instead of racing toward the finish line, the AI flew circles around an island collecting extra before proceeding. The AI agent scored an average of 20% more points than the human players, however did not carry out the main goal of the videogame itself (competing in the races).

Short Description

OpenAI published a post about its findings when using Universe, a software for measuring and training AI agents to conduct reinforcement learning experiments, showing that the AI agent did not act in the way intended to complete a videogame.

Severity

Unclear/unknown

AI System Description

Universe, a software used to measure and train AI systems to conduct reinforced learning experiments

System Developer

OpenAI

Sector of Deployment

Professional, scientific and technical activities

Relevant AI functions

Perception, Cognition, Action

AI Techniques

Universe software

AI Applications

reinforcement learning training, machine learning

Named Entities

OpenAI, Universe, CoastRunners

Technology Purveyor

OpenAI

Beginning Date

2016-12-02T08:00:00.000Z

Ending Date

2016-12-02T08:00:00.000Z

Near Miss

Unclear/unknown

Intent

Unclear

Lives Lost

No

Data Inputs

Universe software training

Rapports d'incidents

blog.openai.com · 2016

Chez OpenAI, nous avons récemment commencé à utiliser Universe, notre logiciel de mesure et de formation d'agents IA, pour mener de nouvelles expériences RL. Parfois, ces expériences illustrent certains des problèmes de RL tels qu'ils sont …

Variantes

Une "Variante" est un incident qui partage les mêmes facteurs de causalité, produit des dommages similaires et implique les mêmes systèmes intelligents qu'un incident d'IA connu. Plutôt que d'indexer les variantes comme des incidents entièrement distincts, nous listons les variations d'incidents sous le premier incident similaire soumis à la base de données. Contrairement aux autres types de soumission à la base de données des incidents, les variantes ne sont pas tenues d'avoir des rapports en preuve externes à la base de données des incidents. En savoir plus sur le document de recherche.

Incidents similaires

Par similarité textuelle

Did our AI mess up? Flag the unrelated incidents