Incidents associés
Le 2 février 2023, l'autorité italienne de protection des données (« Garante ») a émis une ordonnance urgente empêchant le chatbot alimenté par l'IA Replika de traiter les données personnelles des utilisateurs italiens, car cela pose risques pour les mineurs et les personnes vulnérables et n'est pas conforme à l'article 13 du règlement 679/2016 (règlement général sur la protection des données, ou « GDPR »).
Replika est un "ami virtuel": par la voix et le texte, les utilisateurs peuvent le configurer pour fonctionner et interagir en tant qu'ami, partenaire romantique ou mentor. Le chatbot alimenté par l'IA simule le comportement humain et, grâce à son algorithme, apprend des interactions des utilisateurs pour offrir une compagnie empathique, un soutien émotionnel, un confort et une aide en cas d'anxiété ou de socialisation.
Selon le Garante, bien que Replika soit présenté comme améliorant le bien-être des utilisateurs en les aidant à comprendre et à gérer leurs émotions, il a également un impact sur l'état d'esprit des utilisateurs, ce qui signifie qu'il pourrait présenter un risque pour les personnes encore en phase de développement ou en états de fragilité émotionnelle.
Le Garante a noté que Replika ne disposait pas de mécanismes suffisants pour vérifier l'âge des utilisateurs créant des comptes - le logiciel demande simplement aux utilisateurs d'indiquer leurs noms, adresses e-mail et sexe. De plus, les tests effectués ont montré que même lorsque Replika recevait une déclaration explicite indiquant qu'un utilisateur était mineur, aucun système de blocage n'était déclenché pour empêcher toute interaction ultérieure entre l'utilisateur et le chatbot. En conséquence, un utilisateur mineur pourrait recevoir des réponses inappropriées, y compris des contenus à caractère sexuel qui ne devraient pas être mis à la disposition des mineurs ou des personnes vulnérables en général.
Le Garante a reconnu que les conditions d'utilisation de Replika stipulent qu'il est interdit aux utilisateurs de moins de 13 ans d'utiliser le logiciel et qu'un mineur de moins de 18 ans doit avoir l'autorisation préalable d'un parent ou d'un tuteur pour l'utiliser. La politique de confidentialité précise également que le prestataire ne collecte pas les données personnelles des mineurs de moins de 13 ans et encourage les parents à surveiller l'utilisation d'Internet par leurs enfants, les invitant à contacter la plateforme pour supprimer les éventuelles données des enfants. Cependant, la Garante a jugé ces mesures insuffisantes et a constaté que Replika ne prévoyait pas de procédure adéquate de vérification de l'âge des utilisateurs.
De plus, le Garante a souligné que la politique de confidentialité de Replika violait les principes et obligations de transparence énoncés dans le RGPD, car elle ne divulguait pas les éléments clés du traitement effectué. En particulier, le Garante a noté que le traitement ne pouvait pas être basé sur un contrat, d'autant plus que les mineurs sont incapables de conclure des contrats en premier lieu.
Pour ces raisons, le Garante a émis une ordonnance urgente limitant le traitement par Replika des données personnelles des utilisateurs sur le territoire italien. Le contrôleur basé aux États-Unis dispose désormais de 20 jours pour rendre compte des mesures adoptées pour se conformer aux demandes du Garante. L'entreprise peut également contester la décision devant le tribunal compétent dans un délai de 60 jours, conformément à l'article 78 du RGPD.
Il s'agit de la deuxième ordonnance d'urgence émise par le Garante concernant la** protection des mineurs** dans un environnement numérique. Cela confirme à nouveau que la Garante accorde une attention extrêmement particulière à la protection des personnes vulnérables en ligne, en partie en exigeant des systèmes efficaces de vérification de l'âge.
La décision complète est disponible (en anglais et en italien) ici.
Voir l'Ordonnance n° 9524194 de janvier 2021 qui restreint immédiatement les traitements effectués par TikTok concernant les données des utilisateurs dont l'âge n'a pas pu être établi avec certitude, disponible [ici](https://www.garanteprivacy.it/home/docweb/ -/docweb-display/docweb/9524194).