Incidents associés
Mark a remarqué que quelque chose n'allait pas avec son tout-petit. Le pénis de son fils avait l'air enflé et lui faisait mal. Mark, un père au foyer à San Francisco, a saisi son smartphone Android et a pris des photos pour documenter le problème afin qu'il puisse suivre sa progression. C'était un vendredi soir de février 2021. Sa femme a appelé une infirmière-conseil de leur fournisseur de soins de santé pour planifier une consultation d'urgence pour le lendemain matin, par vidéo, car c'était un samedi et qu'il y avait une pandémie en cours. L'infirmière a dit d'envoyer des photos afin que le médecin puisse les examiner à l'avance. La femme de Mark a attrapé le téléphone de son mari et a envoyé quelques gros plans de haute qualité de la région de l'aine de leur fils sur son iPhone afin qu'elle puisse les télécharger sur le système de messagerie du fournisseur de soins de santé. Dans l'un, la main de Mark était visible, aidant à mieux afficher le gonflement. Mark et sa femme n'ont pas pensé aux géants de la technologie qui ont rendu possible cette capture et cet échange rapides de données numériques, ni à ce que ces géants pourraient penser des images. Avec l'aide des photos, le médecin a diagnostiqué le problème et prescrit des antibiotiques, qui l'ont rapidement résolu. Mais l'épisode a laissé Mark avec un problème beaucoup plus important, qui lui coûterait plus d'une décennie de contacts, d'e-mails et de photos, et ferait de lui la cible d'une enquête policière. Mark, qui a demandé à être identifié uniquement par son prénom par crainte d'une éventuelle atteinte à sa réputation, avait été pris dans un filet algorithmique conçu pour piéger les personnes échangeant du matériel d'abus sexuels sur des enfants. Étant donné que les entreprises technologiques capturent régulièrement tant de données, elles ont été contraintes d'agir en tant que sentinelles, examinant ce qui transite par leurs serveurs pour détecter et prévenir les comportements criminels. Les défenseurs des enfants affirment que la coopération des entreprises est essentielle pour lutter contre la propagation généralisée en ligne des images d'abus sexuels . Mais cela peut impliquer de scruter des archives privées, telles que des albums photo numériques – une intrusion à laquelle les utilisateurs ne s'attendent peut-être pas – qui ont jeté un regard innocent sur un comportement innocent dans au moins deux cas que le Times a découverts. Jon Callas, un technologue à l'Electronic Frontier Foundation, une organisation de défense des libertés civiles numériques, a qualifié les cas de canaris ** "** dans cette mine de charbon en particulier". "Il pourrait y en avoir des dizaines, des centaines, des milliers d'autres", a-t-il déclaré. Compte tenu de la nature toxique des accusations, M. Callas a émis l'hypothèse que la plupart des personnes signalées à tort ne rendraient pas public ce qui s'était passé. "Je savais que ces entreprises surveillaient et que la confidentialité n'est pas ce que nous espérions qu'elle soit", a déclaré Mark. "Mais je n'ai rien fait de mal." La police a accepté. Google ne l'a pas fait. "Une violation grave" -------------------- Après avoir créé un compte Gmail au milieu des années 2000, Mark, qui a la quarantaine, en est venu à s'appuyer fortement sur Google. Il a synchronisé les rendez-vous avec sa femme sur Google Agenda. L'appareil photo de son smartphone Android a sauvegardé ses photos et vidéos sur le cloud de Google. Il avait même un forfait téléphonique avec Google Fi. Deux jours après avoir pris les photos de son fils, le téléphone de Mark a fait un bourdonnement de notification : son compte avait été désactivé en raison d'un "contenu préjudiciable" qui constituait "une grave violation des politiques de Google et pourrait être illégal". Un lien "en savoir plus" menait à une liste des raisons possibles, y compris "abus et exploitation sexuels d'enfants". Mark était confus au début, mais s'est ensuite souvenu de l'infection de son fils. "Oh, mon Dieu, Google pense probablement que c'était de la pédopornographie", pensa-t-il. Dans une tournure inhabituelle, Mark avait travaillé comme ingénieur logiciel sur l'outil automatisé d'une grande entreprise de technologie pour supprimer le contenu vidéo signalé par les utilisateurs comme problématique. Il savait que de tels systèmes avaient souvent un humain dans la boucle pour s'assurer que les ordinateurs ne commettent pas d'erreur, et il supposait que son cas serait résolu dès qu'il parviendrait à cette personne. Il a rempli un formulaire demandant une révision de la décision de Google, expliquant l'infection de son fils. Dans le même temps, il découvre l'effet domino du rejet de Google. Non seulement il a perdu des e-mails, les coordonnées d'amis et d'anciens collègues et des documents sur les premières années de vie de son fils, mais son compte Google Fi a été fermé, ce qui signifie qu'il a dû obtenir un nouveau numéro de téléphone auprès d'un autre opérateur. Sans accès à son ancien numéro de téléphone et à son adresse e-mail, il n'a pas pu obtenir les codes de sécurité dont il avait besoin pour se connecter à d'autres comptes Internet, ce qui l'a privé d'une grande partie de sa vie numérique. "Plus vous avez d'œufs dans un panier, plus le panier est susceptible de se casser", a-t-il déclaré. Dans un communiqué, Google a déclaré: "Le matériel d'abus sexuels sur des enfants est odieux et nous nous engageons à empêcher sa propagation sur nos plateformes." Quelques jours après que Mark ait interjeté appel, Google a répondu qu'il ne rétablirait pas le compte, sans autre explication. Mark ne le savait pas, mais l'équipe de révision de Google avait également signalé une vidéo qu'il avait réalisée et le département de police de San Francisco avait déjà commencé à enquêter sur lui. Comment Google Flags Images ----------------------- Le lendemain du début des ennuis de Mark, le même scénario se déroulait au Texas. Un tout-petit à Houston a eu une infection dans ses "parties intimes", a écrit son père dans [un article en ligne](https://googlemessingupmylife.quora.com/Google-incorrectly-judged-my-case-On-February-22nd- 2021-Google-disabled-my-account-saying-i-had-seriously-violed-th) sur lequel je suis tombé en rapportant l'histoire de Mark. À la demande du pédiatre, Cassio, qui a également demandé à être identifié uniquement par son prénom, a utilisé un Android pour prendre des photos, qui ont été sauvegardées automatiquement sur Google Photos. Il les a ensuite envoyés à sa femme via le service de chat de Google. Cassio était en train d'acheter une maison et de signer d'innombrables documents numériques lorsque son compte Gmail a été désactivé. Il a demandé à son courtier en hypothèques de changer d'adresse e-mail, ce qui a rendu le courtier suspect jusqu'à ce que l'agent immobilier de Cassio se porte garant de lui. "C'était un mal de tête", a déclaré Cassio. Les images d'enfants exploités ou abusés sexuellement sont signalées par des géants de la technologie des millions de fois chaque année. En 2021, Google seul a déposé plus de 600 000 signalements de matériel pédopornographique et de personnes handicapées les comptes de plus de 270 000 utilisateurs. Les expériences de Mark et Cassio étaient des gouttes dans un grand seau. Le premier outil de l'industrie technologique à perturber sérieusement le vaste échange en ligne de la soi-disant pornographie juvénile a été PhotoDNA, une base de données d'images connues d'abus, converties en codes numériques uniques, ou hachages ; il pourrait être utilisé pour parcourir rapidement un grand nombre d'images afin de détecter une correspondance même si une photo avait été légèrement modifiée. Après que Microsoft a publié PhotoDNA en 2009, Facebook et d'autres entreprises technologiques l'ont utilisé pour éradiquer les utilisateurs diffusant des images illégales et nuisibles. "C'est un outil formidable", a déclaré le président du Centre national pour les enfants disparus et exploités [à l'époque](https://archive.nytimes.com/bits.blogs.nytimes.com/2009/12/16/microsoft -s'attaque-au-problème-de-la-pornographie-enfant/). Une percée plus importante s'est produite près d'une décennie plus tard, en 2018, lorsque Google [développé](https://www.blog.google/around-the-globe/google-europe/using-ai-help-organizations-detect-and -report-child-sexual-abus-material-online/) un outil artificiellement intelligent qui pourrait reconnaître des images d'exploitation d'enfants jamais vues auparavant. Cela signifiait trouver non seulement des images connues d'enfants maltraités, mais aussi des images de victimes inconnues qui pourraient potentiellement être secourues par les autorités. Google a mis sa technologie à la disposition d'autres entreprises, dont [Facebook](https://about.fb.com/news/2021/02/ prévention-de-l'exploitation-des-enfants-sur-nos-applications/). Lorsque les photos de Mark et Cassio ont été automatiquement téléchargées depuis leurs téléphones vers les serveurs de Google, cette technologie les a signalés. Jon Callas de l'E.F.F. a qualifié la numérisation d'intrusive, disant qu'un album photo de famille sur l'appareil personnel de quelqu'un devrait être une "sphère privée". (Une porte-parole de Google a déclaré que l'entreprise scanne uniquement lorsqu'une "action positive" est prise par un utilisateur, y compris lorsque le téléphone de l'utilisateur sauvegarde des photos sur le cloud de l'entreprise.) "C'est précisément le cauchemar qui nous préoccupe tous", dit M. Callas. "Ils vont scanner mon album de famille, et puis je vais avoir des ennuis." Un modérateur de contenu humain pour Google aurait examiné les photos après qu'elles aient été signalées par l'intelligence artificielle pour confirmer qu'elles répondaient à la définition fédérale de matériel d'abus sexuel d'enfants. Lorsque Google fait une telle découverte, il verrouille le compte de l'utilisateur, recherche d'autres éléments d'exploitation et, comme l'exige la [loi fédérale](https://uscode.house.gov/view.xhtml?req=granuleid:USC-prelim- title18-section2258A&num=0&edition=prelim ), fait un rapport à la CyberTipline du National Center for Missing and Exploited Children. L'organisation à but non lucratif est devenue le centre d'échange pour le matériel abusif; il a reçu 29,3 millions de signalements l'an dernier, soit environ 80 000 signalements par jour. Fallon McNulty, qui gère la CyberTipline, a déclaré que la plupart d'entre elles sont des images précédemment signalées, qui restent en circulation régulière sur Internet. Ainsi, son équipe de 40 analystes se concentre sur les nouvelles victimes potentielles, afin qu'elles puissent hiérarchiser ces cas pour les forces de l'ordre. "En règle générale, si le personnel du NCMEC examine un rapport CyberTipline et qu'il comprend du matériel d'exploitation qui n'a jamais été vu auparavant, il s'aggravera", a déclaré Mme McNulty. "Cela peut être un enfant qui n'a pas encore été identifié ou protégé et qui n'est pas hors de danger." Mme McNulty a déclaré que l'étonnante capacité de Google à repérer ces images afin que son organisation puisse les signaler à la police pour une enquête plus approfondie était "un exemple du système fonctionnant comme il se doit". Les membres du personnel de CyberTipline ajoutent toute nouvelle image abusive à la base de données hachée qui est partagée avec les entreprises technologiques à des fins de numérisation. Lorsque la femme de Mark a appris cela, elle a supprimé les photos que Mark avait prises de leur fils de son iPhone, de peur qu'Apple ne signale son compte. Apple a annoncé ses plans l'année dernière pour analyser les photos iCloud à la recherche de représentations sexuellement abusives connues d'enfants, mais le déploiement a été retardé indéfiniment après la résistance des groupes de protection de la vie privée. En 2021, la CyberTipline a signalé qu'elle avait alerté les autorités sur "plus de 4 260 nouvelles victimes potentielles d'enfants". Les fils de Marc et de Cassio étaient comptés parmi eux. "Aucun crime ne s'est produit" ------------------- En décembre 2021, Mark a reçu une enveloppe manille par la poste du département de police de San Francisco. Il contenait une lettre l'informant qu'il avait fait l'objet d'une enquête ainsi que des copies des mandats de perquisition signifiés à Google et à son fournisseur d'accès Internet. Un enquêteur, dont les coordonnées ont été fournies, avait tout demandé dans le compte Google de Mark : ses recherches sur Internet, son historique de localisation, ses messages et tout document, photo et vidéo qu'il avait stocké auprès de l'entreprise. La recherche, liée à des "vidéos d'exploitation d'enfants", avait eu lieu en février, moins d'une semaine après avoir pris les photos de son fils. Mark a appelé l'enquêteur, Nicholas Hillard, qui a déclaré que l'affaire était close. M. Hillard avait essayé d'entrer en contact avec Mark mais son numéro de téléphone et son adresse e-mail n'avaient pas fonctionné. "J'ai déterminé que l'incident ne rencontrait pas les éléments d'un crime et qu'aucun crime n'avait eu lieu", a écrit M. Hillard dans son rapport. La police a eu accès à toutes les informations que Google avait sur Mark et a décidé qu'il ne s'agissait pas de maltraitance ou d'exploitation d'enfants. Mark a demandé si M. Hillard pouvait dire à Google qu'il était innocent afin qu'il puisse récupérer son compte. "Vous devez parler à Google", a déclaré M. Hillard, selon Mark. "Il n'y a rien que je puisse faire." Mark a de nouveau fait appel de son cas auprès de Google, en fournissant le rapport de police, mais en vain. Après avoir reçu il y a deux mois un avis indiquant que son compte était définitivement supprimé, Mark a parlé à un avocat de la possibilité de poursuivre Google et du coût que cela pourrait coûter. "J'ai décidé que cela ne valait probablement pas 7 000 $", a-t-il déclaré. Kate Klonick, professeur de droit à l'Université St. John's, qui a écrit sur la modération de contenu en ligne, a déclaré que cela pouvait être difficile de « rendre compte de choses qui sont invisibles sur une photo, comme le comportement des personnes qui partagent une image ou les intentions de la personne qui la prend ». Les faux positifs, où les personnes sont signalées par erreur, sont inévitables compte tenu des milliards d'images numérisées. Alors que la plupart des gens considéreraient probablement que ce compromis en vaut la peine, compte tenu de l'avantage d'identifier les enfants maltraités, Mme Klonick a déclaré que les entreprises ont besoin d'un "processus robuste" pour effacer et réintégrer les personnes innocentes qui sont signalées par erreur. "Ce serait problématique s'il ne s'agissait que d'un cas de modération et de censure du contenu", a déclaré Mme Klonick. "Mais c'est doublement dangereux dans la mesure où cela entraîne également le signalement de quelqu'un aux forces de l'ordre." Cela aurait pu être pire, a-t-elle dit, avec un parent qui pourrait perdre la garde d'un enfant. "Vous pouvez imaginer comment cela pourrait dégénérer", a déclaré Mme Klonick. Cassio a également fait l'objet d'une enquête de la police. Un détective du département de police de Houston a appelé à l'automne 2021, lui demandant de venir au poste. Après que Cassio ait montré au détective ses communications avec le pédiatre, il a été rapidement blanchi. Mais lui aussi n'a pas pu récupérer son compte Google vieux de dix ans, bien qu'il soit un utilisateur payant des services Web de Google. Il utilise maintenant une adresse Hotmail pour le courrier électronique, ce dont les gens se moquent de lui, et effectue plusieurs sauvegardes de ses données. Vous ne le savez pas nécessairement quand vous le voyez --------------------------------------- ------ Toutes les photos d'enfants nus ne sont pas pornographiques, exploiteuses ou abusives. Carissa Byrne Hessick, professeure de droit à l'Université de Caroline du Nord qui écrit sur les crimes de pédopornographie, a déclaré que la définition légale de ce qui constitue des abus sexuels l'imagerie peut être compliquée. Mais Mme Hessick a déclaré qu'elle était d'accord avec la police sur le fait que les images médicales n'étaient pas admissibles. "Il n'y a pas de maltraitance de l'enfant", a-t-elle déclaré. "Il est pris pour des raisons non sexuelles." Dans l'apprentissage automatique, un programme informatique est formé en recevant des informations "correctes" et "incorrectes" jusqu'à ce qu'il puisse faire la distinction entre les deux. Pour éviter de signaler des photos de bébés dans le bain ou d'enfants courant sans vêtements à travers des gicleurs, l'IA de Google. pour reconnaître les abus a été formé à la fois avec des images de matériel potentiellement illégal trouvé par Google dans des comptes d'utilisateurs dans le passé et avec des images qui n'étaient pas révélatrices d'abus, pour lui donner une compréhension plus précise de ce qu'il faut signaler. J'ai vu les photos que Mark a prises de son fils. La décision de les signaler était compréhensible : ce sont des photos explicites des organes génitaux d'un enfant. Mais le contexte compte : elles ont été prises par un parent inquiet pour un enfant malade. "Nous reconnaissons qu'à l'ère de la télémédecine et en particulier de Covid, il a été nécessaire pour les parents de prendre des photos de leurs enfants afin d'obtenir un diagnostic", a déclaré Claire Lilley, responsable des opérations de sécurité des enfants de Google. La société a consulté des pédiatres, a-t-elle déclaré, afin que ses examinateurs humains comprennent les conditions possibles qui pourraient apparaître sur les photographies prises pour des raisons médicales. Le Dr Suzanne Haney, présidente du Conseil sur la maltraitance et la négligence envers les enfants de l'American Academy of Pediatrics, a déconseillé aux parents de prendre des photos des organes génitaux de leurs enfants, même sur les instructions d'un médecin. "La dernière chose que vous voulez, c'est qu'un enfant se sente à l'aise avec quelqu'un qui photographie ses organes génitaux", a déclaré le Dr. dit Haney. "Si vous devez absolument le faire, évitez de les télécharger sur le cloud et supprimez-les immédiatement." Elle a dit que la plupart des médecins n'étaient probablement pas conscients des risques en demandant aux parents de prendre de telles photos. "J'applaudis Google pour ce qu'ils font", a déclaré le Dr Haney à propos des efforts de l'entreprise pour lutter contre les abus. «Nous avons un problème horrible. Malheureusement, cela a été lié à des parents essayant de bien faire avec leurs enfants. Cassio a été informé par un représentant du service client plus tôt cette année que l'envoi des photos à sa femme via Google Hangouts violait les [conditions d'utilisation] du service de chat (https://support.google.com/hangouts/answer/9334169?hl=en ). "N'utilisez pas Hangouts d'une manière qui exploite les enfants", lisent les termes. "Google a une politique de tolérance zéro contre ce contenu." Quant à Mark, Mme Lilley, chez Google, a déclaré que les examinateurs n'avaient pas détecté d'éruption cutanée ou de rougeur sur les photos qu'il avait prises et que l'examen ultérieur de son compte avait révélé une vidéo de six mois plus tôt que Google considérait également comme problématique, d'un jeune enfant couché dans son lit avec une femme dévêtue. Mark ne se souvenait pas de cette vidéo et n'y avait plus accès, mais il a dit que cela ressemblait à un moment privé qu'il aurait été inspiré de capturer, sans se rendre compte qu'il serait jamais vu ou jugé par quelqu'un d'autre. "Je peux l'imaginer. Nous nous sommes réveillés un matin. C'était une belle journée avec ma femme et mon fils et je voulais enregistrer le moment », a déclaré Mark. "Si seulement nous avions dormi en pyjama, tout cela aurait pu être évité." Une porte-parole de Google a déclaré que la société maintenait ses décisions, même si les forces de l'ordre avaient innocenté les deux hommes. Coupable par défaut ----------------- Mme Hessick, professeur de droit, a déclaré que la coopération que les entreprises technologiques fournissent aux forces de l'ordre pour lutter contre les abus sexuels sur les enfants et les éradiquer est "incroyablement importante". », mais elle pensait que cela devrait permettre des corrections. "Du point de vue de Google, il est plus facile de refuser à ces personnes l'utilisation de leurs services", a-t-elle spéculé. Sinon, l'entreprise devrait résoudre des questions plus difficiles sur "quel est le comportement approprié avec les enfants, puis ce qu'il convient de photographier ou non". Mark a toujours l'espoir de pouvoir récupérer ses informations. La police de San Francisco a conservé le contenu de son compte Google sur une clé USB. Mark essaie maintenant d'obtenir une copie. Un porte-parole de la police a déclaré que le département était impatient de l'aider.