Incidents associés
La mise à jour « Apple Intelligence » d'Apple, introduite fin 2024, est critiquée pour avoir fait paraître légitimes les messages frauduleux. Les fonctionnalités basées sur l'IA, conçues pour résumer et hiérarchiser les notifications, ont signalé les messages frauduleux comme des alertes prioritaires sur les iPhones, les iPads et les ordinateurs Mac.
Apple Intelligence condense plusieurs notifications en un seul résumé et met en évidence les messages urgents, tels que les e-mails de collègues ou de compagnies aériennes. Cependant, des utilisateurs ont signalé que l'IA a du mal à différencier les escroqueries des véritables alertes.
Par exemple, un utilisateur d'iPhone a vu un e-mail frauduleux affirmant qu'il devait 465 $, priorisé par le système. « Avoir un outil d'IA à bord de millions d'appareils permettant des escroqueries comme celle-ci va piéger les gens et leur coûter de l'argent », a-t-il déclaré.
D'autres utilisateurs sur les réseaux sociaux ont partagé des exemples similaires, le professeur de l'UQ Jeremy Howard critiquant Apple pour avoir signalé les escroqueries comme une priorité. Un autre utilisateur a mis en évidence un faux message USPS résumé par l'IA pour paraître légitime, comme le montre la capture d'écran ci-dessous.
Ces incidents montrent comment la fonctionnalité pourrait par inadvertance augmenter l'efficacité des escroqueries.
Les experts avertissent que le recours à la synthèse par la fonctionnalité supprime un contexte important, ce qui rend plus difficile pour les utilisateurs d'identifier les messages frauduleux. Daswin De Silva, un expert en IA de l'université La Trobe, a souligné que le manque de détails oblige les utilisateurs à réévaluer les messages, ce qui crée plus de travail. Il a également critiqué les entreprises technologiques pour avoir précipité les fonctionnalités d'IA sans aborder les risques potentiels.
La mise à jour prévue d'Apple
Apple a déclaré à la BBC qu'il prévoyait de mettre à jour la fonctionnalité pour clarifier quand les résumés sont générés par l'IA, dans le but de réduire la confusion. D'ici là, les experts recommandent de vérifier manuellement les messages signalés et d'aborder les résumés d'IA avec prudence.