Un logiciel peut-il être raciste ? Non, bien que les humains puissent par inadvertance concevoir des programmes qui semblent insensibles à la race ou, comme ce fut le cas avec le chatbot Tay de Microsoft, transformer intentionnellement une IA en un fauteur de haine déchaîné. Les systèmes de reconnaissance faciale entrent parfois dans la première catégorie ; le dernier incident a vu un homme néo-zélandais d'origine asiatique voir sa photo de passeport rejetée parce que le logiciel pensait que ses yeux étaient fermés.
Richard Lee, 22 ans, tentait de renouveler son passeport en ligne mais a été surpris lorsque le vérificateur de photos a bloqué sa photo. "Les yeux du sujet sont fermés", lit la notification, malgré le fait qu'ils sont clairement ouverts. Il semble que le logiciel ait eu des problèmes avec les plis épicanthiques de Lee, né à Taïwan.
L'étudiant ingénieur, qui étudie actuellement l'ingénierie aérospatiale et la gestion d'entreprise à Melbourne, a contacté le Département des affaires internes pour savoir pourquoi le système avait un problème avec sa photo. Un porte-parole lui a dit qu'un "éclairage irrégulier sur le visage" avait provoqué son rejet et a expliqué que jusqu'à 20% des photos de passeport soumises en ligne sont rejetées pour diverses raisons, la plus courante étant que les yeux du sujet sont fermés.
Lee n'a pas été offensé par la réponse du système automatisé. "Sans rancune de ma part, j'ai toujours eu de très petits yeux et la technologie de reconnaissance faciale est relativement nouvelle et peu sophistiquée", a-t-il déclaré à Reuters. "C'était un robot, pas de rancune. J'ai finalement fait renouveler mon passeport."
L'incident montre que si la reconnaissance faciale a parcouru un long chemin, il y a encore des bosses sur la route. L'année dernière, Google s'est retrouvé en difficulté après que son logiciel ait qualifié deux Noirs sur une photo de "gorilles".
Lee a dit qu'il avait vu l'humour dans sa situation. "'Certaines personnes s'offusquent trop facilement parce qu'elles ne sont pas aussi sûres de leurs origines... En fin de compte, nous sommes tous différents et bien sûr, il y a certaines situations où il faut tenir bon et certaines situations c'est juste un bon rire. Il a même téléchargé l'image ci-dessous sur Facebook.