Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 2013

Incidents associés

Incident 3263 Rapports
Facebook Automated Year-in-Review Highlights Showed Users Painful Memories

Loading...
Cruauté algorithmique par inadvertance
meyerweb.com · 2014

Je ne suis pas allé chercher le chagrin cet après-midi, mais il m'a quand même trouvé, et j'ai des concepteurs et des programmeurs à remercier pour cela. Dans ce cas, les concepteurs et les programmeurs sont quelque part sur Facebook.

Je sais qu'ils sont probablement assez fiers du travail qui a été réalisé dans l'application "Année en revue" qu'ils ont conçue et développée, et à juste titre - beaucoup de gens l'ont utilisée pour partager les moments forts de leurs années. Sachant quel genre d'année j'avais eu, cependant, j'ai évité d'en faire une moi-même. Je n'arrêtais pas de les voir apparaître dans mon flux, créés par d'autres, presque tous avec la légende par défaut : "Ce fut une excellente année ! Merci d'en faire parti." Ce qui était, en soi, assez choquant, l'idée que n'importe quelle année à laquelle je faisais partie pouvait être qualifiée de géniale.

Pourtant, ils étaient assez faciles à passer, et je l'ai fait. Jusqu'à aujourd'hui, quand j'ai eu ça dans mon flux, m'exhortant à créer le mien. "Eric, voici à quoi ressemblait ton année !"

Une photo de ma fille, qui est morte. Qui est mort cette année.

Oui, mon année ressemblait à ça. Assez vrai. Mon année ressemblait au visage désormais absent de ma petite fille. C'était quand même méchant de me le rappeler avec autant de force.

Et je sais, bien sûr, que ce n'est pas une agression délibérée. Cette cruauté algorithmique involontaire est le résultat d'un code qui fonctionne dans l'écrasante majorité des cas, rappelant aux gens la génialité de leurs années, leur montrant des selfies lors d'une fête ou des becs de baleines depuis des voiliers ou la marina devant leur maison de vacances.

Mais pour ceux d'entre nous qui ont vécu la mort d'êtres chers, ou qui ont passé beaucoup de temps à l'hôpital, ou qui ont été frappés par un divorce ou une perte d'emploi ou l'une des centaines de crises, nous ne voudrions peut-être pas revoir cette dernière année.

Pour me montrer le visage de Rebecca et dire "Voilà à quoi ressemblait ton année !" est choquant. Cela semble mal, et venant d'une personne réelle, ce serait mal. Venant du code, c'est juste dommage. Ce sont des problèmes difficiles. Il n'est pas facile de déterminer par programme si une image a une tonne de J'aime parce qu'elle est hilarante, étonnante ou déchirante.

Les algorithmes sont essentiellement irréfléchis. Ils modélisent certains flux de décision, mais une fois que vous les exécutez, plus aucune pensée ne se produit. Traiter une personne d'« irréfléchie » est généralement considéré comme une insulte ou une insulte pure et simple ; et pourtant, nous libérons tellement de processus littéralement irréfléchis sur nos utilisateurs, sur nos vies, sur nous-mêmes.

Là où l'aspect humain n'a pas été à la hauteur, du moins avec Facebook, c'est de ne pas fournir de moyen de se retirer. L'annonce Year in Review continue d'apparaître dans mon flux, tournant à travers différents arrière-plans amusants et fabuleux, comme si elle célébrait un décès, et il n'y a aucun moyen évident de l'arrêter. Oui, il y a le menu déroulant qui me permet de le cacher, mais savoir que c'est pratiquement une connaissance d'initié. Combien de personnes ne le savent pas ? Bien plus que vous ne le pensez.

C'est un autre aspect de la conception pour la crise, ou peut-être un meilleur terme est la conception empathique. Lors de la création de cette application Year in Review, on n'a pas suffisamment réfléchi à des cas comme le mien, ou [les amis de Chloé] (http://tributetochloeweil.tumblr.com/), ou toute personne qui a eu une mauvaise année. La conception est pour l'utilisateur idéal, l'utilisateur heureux, optimiste et de bonne vie. Il ne prend pas en compte les autres cas d'utilisation.

Juste pour choisir deux solutions évidentes : premièrement, ne préremplissez pas une image tant que vous n'êtes pas sûr que l'utilisateur souhaite réellement voir des images de son année. Et deuxièmement, au lieu de pousser l'application vers les gens, demandez-leur peut-être s'ils aimeraient essayer un aperçu - juste un simple oui ou non. S'ils disent non, demandez-leur s'ils veulent qu'on leur redemande plus tard, ou plus jamais. Et puis, bien sûr, honorez leurs choix.

Il n'est peut-être pas possible de prédétecter de manière fiable si une personne veut voir son année en revue, mais il n'est pas du tout difficile de demander poliment - avec empathie - si c'est quelque chose qu'elle veut. C'est un problème facile à résoudre. Si l'application avait été conçue avec les pires scénarios à l'esprit, elle l'aurait probablement été.

Si je pouvais corriger une chose à propos de notre industrie, une seule chose, ce serait celle-ci : accroître la sensibilisation et la considération pour les modes de défaillance, les cas extrêmes, les pires scénarios. Et donc je vais essayer.

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd