Incidents associés
L'application de l'intelligence artificielle dans divers aspects de la vie a été principalement positive, mais que se passe-t-il lorsque les algorithmes d'apprentissage automatique ne peuvent pas détecter la différence entre une photo de santé innocente et du matériel d'exploitation d'enfants ?
Aujourd'hui, le New York Times a rapporté qu'un technicien basé à San Francisco ne s'appelait que "Mark » – qui, ironiquement, travaille pour une entreprise technologique anonyme dans le filtrage de contenu – a été banni par Google LLC pour « une grave violation des politiques de Google et pourrait être illégal » après que son fils soit tombé malade et que des photos aient été prises de son fils. Dans ce cas, l'enfant avait un problème avec son pénis et après avoir été interrogé par un professionnel de la santé, sa femme avait pris des photos et les avait envoyées en ligne via son compte Google pour une consultation.
L'IA et le filtrage de Google ont marqué les photos comme de la maltraitance d'enfants sans prendre en compte la situation. Un bloc incorrect ou hors contexte de Google n'est pas très surprenant. Ce qui s'est passé ensuite, cependant, est sans doute épouvantable.
Google a informé les autorités que l'homme, nommé dans le rapport uniquement sous le nom de Mark, faisait du trafic de pornographie juvénile et une enquête policière a été ouverte. Heureusement, le département de police de San Francisco a compris le contexte, mais près de deux ans plus tard, Google ne l'a pas fait et Mark n'a toujours pas accès à son compte.
En réponse à l'histoire du New York Times, le seul commentaire de Google était "le matériel d'abus sexuels sur des enfants est odieux et nous nous engageons à empêcher sa propagation sur nos plateformes". Personne ne pouvait contester cette déclaration, mais dans ce cas, les photos n'étaient pas du matériel abusif, mais plutôt un problème de santé légitime.
L'affaire montre à quel point des milliards de personnes sont devenues dépendantes des entreprises technologiques et comment un simple faux positif peut dégénérer en quelque chose de bien pire. Dans le cas de Mark, il a non seulement perdu son compte de messagerie, son compte Google Photos et ses coordonnées, mais il avait également un numéro de téléphone via Google Fi qui a également été fermé par Google. Le numéro de téléphone Google Fi était connecté à divers autres comptes, ce qui signifie qu'il a également perdu l'accès à l'authentification à deux facteurs.
"Plus vous avez d'œufs dans un panier, plus le panier est susceptible de se casser", a déclaré Mark au Times.
Le cas de Marc n'est pas unique. Le Times a également fait référence à un cas similaire d'un père au Texas où Google a signalé des photos à caractère médical prises et envoyées en ligne comme du matériel abusif. Dans le cas du Texas, comme dans le cas de Mark, Google a suspendu le compte du père et les techniciens en robotique de Mountain View ont rejeté tout appel.
Google et les autres grandes entreprises technologiques devraient rechercher et filtrer de manière proactive les contenus abusifs. Cependant, le fait que Google ne puisse pas trouver un employé humain pour examiner le contexte en appel et régler la situation n'est pas une réflexion positive sur Google et d'autres entreprises technologiques.
Heureusement, dans le cas de Mark et dans celui du Texas, les problèmes médicaux avec leurs enfants ont été résolus, mais il n'y a pas de prescription médicale pour traiter avec Google et d'autres entreprises technologiques une fois qu'ils ont pris leur décision et faussement étiqueté quelqu'un comme étant un enfant. pornographe.