Problème 2522

Machine-learning les systèmes se faufilent de plus en plus dans notre vie quotidienne, remettant en question nos valeurs morales et sociales et les règles qui les régissent. De nos jours, les assistants virtuels menacent l'intimité de la maison ; recommandateurs de nouvelles façonnent notre façon de comprendre le monde ; systèmes de prédiction des risques donner des conseils aux travailleurs sociaux sur les enfants à protéger contre les abus ; tandis que les outils de recrutement basés sur les données classent également vos chances de décrocher un emploi. Cependant, l' éthique de l'apprentissage automatique reste floue pour beaucoup.

En cherchant des articles sur le sujet pour les jeunes ingénieurs du cursus Ethique et Technologies de l'Information et de la Communication de l'UCLouvain, Belgique, j'ai été particulièrement frappé par le [cas de Joshua Barbeau](https://www.sfchronicle.com/tech/article /Listen-Artificial-intelligence-helped-him-grieve-16333438.php), un homme de 33 ans qui a utilisé un site Web appelé Project December pour créer un robot conversationnel : un chatbot – qui simulerait une conversation avec sa fiancée décédée, Jessica.

Des robots conversationnels imitant des morts

Connu sous le nom de deadbot, ce type de chatbot permettait à Barbeau d'échanger des SMS avec une "Jessica" artificielle. Malgré la nature éthiquement controversée de l'affaire, j'ai rarement trouvé des documents allant au-delà du simple aspect factuel et analysant l'affaire à travers une lentille normative explicite : pourquoi serait-il bon ou mauvais, éthiquement souhaitable ou répréhensible, de développer un deadbot ?

Avant de nous attaquer à ces questions, remettons les choses en contexte : Project December a été créé par le développeur de jeux Jason Rohrer pour permettre aux gens de personnaliser les chatbots avec la personnalité avec laquelle ils voulaient interagir, à condition qu'ils aient payé pour cela. Le projet a été construit en s'appuyant sur une API de GPT-3, un modèle de langage générateur de texte par la société de recherche en intelligence artificielle OpenAI. Le cas de Barbeau a ouvert une faille entre Rohrer et OpenAI parce que les [directives](https://beta.openai.com/docs/ directives d'utilisation) interdisent explicitement l'utilisation de GPT-3 à des fins sexuelles, amoureuses, d'automutilation ou d'intimidation.

Qualifiant la position d'OpenAI d'hyper-moraliste et affirmant que des personnes comme Barbeau étaient des "adultes consentants", Rohrer a fermé la version GPT-3 de Projet Décembre.

Bien que nous puissions tous avoir des intuitions quant à savoir s'il est bon ou mauvais de développer un robot mort d'apprentissage automatique, énoncer ses implications n'est pas une tâche facile. C'est pourquoi il est important d'aborder les questions éthiques soulevées par le cas, étape par étape.

Le consentement de Barbeau est-il suffisant pour développer le deadbot de Jessica ?

---

Puisque Jessica était une personne réelle (bien que décédée), Barbeau consentant à la création d'un deadbot l'imitant semble insuffisant. Même quand ils meurent, les gens ne sont pas de simples choses dont les autres peuvent faire ce qu'ils veulent. C'est pourquoi nos sociétés considèrent qu'il est mal de profaner ou de manquer de respect à la mémoire des morts. En d'autres termes, nous avons certaines obligations morales envers les morts, dans la mesure où la mort n'implique pas nécessairement que les personnes cessent d'exister d'une manière moralement pertinente.

De même, le débat est ouvert sur la question de savoir si nous devons protéger les droits fondamentaux des morts (par exemple [la confidentialité](https://theconversation.com/chatbots-that-resurrect-the-dead-legal-experts-weigh-in-on -disturbing-technology-155436) et données personnelles). Développer un deadbot reproduisant la personnalité de quelqu'un nécessite de grandes quantités d'informations personnelles telles que des données de réseaux sociaux (voir quoi Microsoft ou Eternime proposer) qui se sont avérés révéler traits très sensibles.

Si nous convenons qu'il est contraire à l'éthique d'utiliser les données des personnes sans leur consentement de leur vivant, pourquoi serait-il éthique de le faire après leur mort ? En ce sens, lors du développement d'un deadbot, il semble raisonnable de demander le consentement de celui dont la personnalité est reflétée - dans ce cas, Jessica.

Quand la personne imitée donne le feu vert

Ainsi, la deuxième question est : le consentement de Jessica serait-il suffisant pour considérer la création de son deadbot comme éthique ? Et si c'était dégradant pour sa mémoire ?

Les limites du consentement sont, en effet, une question controversée. Prenons comme exemple paradigmatique le "Rotenburg Cannibal", qui a été condamné à la réclusion à perpétuité alors que sa victime avait accepté être mangé. À cet égard, il a été soutenu qu'il est contraire à l'éthique de consentir à des choses qui peuvent nous être préjudiciables, que ce soit physiquement (vendre ses propres organes vitaux) ou abstraitement (aliéner ses propres droits).

En quels termes spécifiques quelque chose pourrait être préjudiciable aux morts est une question particulièrement complexe que je n'analyserai pas en détail. Il convient de noter, cependant, que même si les morts ne peuvent être blessés ou offensés de la même manière que les vivants, cela ne signifie pas qu'ils sont invulnérables aux mauvaises actions, ni que celles-ci sont éthiques. Les morts peuvent subir des atteintes à leur honneur, leur réputation ou leur dignité (par exemple, des campagnes de diffamation posthumes), et le manque de respect envers les morts nuit également à leurs proches. De plus, se comporter mal envers les morts nous conduit vers une société plus injuste et moins respectueuse de la dignité des personnes dans son ensemble.

Enfin, compte tenu de la malléabilité et de l'imprévisibilité des systèmes d'apprentissage automatique, il y a un risque que le consentement fourni par la personne imitée (de son vivant) ne signifie pas beaucoup plus qu'un chèque en blanc sur ses parcours potentiels.

Compte tenu de tout cela, il semble raisonnable de conclure que si le développement ou l'utilisation du deadbot ne correspond pas à ce que la personne imitée a accepté, son consentement doit être considéré comme invalide. De plus, si elle porte clairement et intentionnellement atteinte à leur dignité, même leur consentement ne devrait pas suffire à la considérer comme éthique.

Qui assume la responsabilité ?

Une troisième question est de savoir si les systèmes d'intelligence artificielle doivent aspirer à imiter tout type de comportement humain (indépendamment du fait que cela soit possible ici).

C'est une préoccupation de longue date dans le domaine de l'IA et elle est étroitement liée au différend entre Rohrer et OpenAI. Doit-on développer des systèmes artificiels capables, par exemple, de prendre soin des autres ou de prendre des décisions politiques ? Il semble qu'il y ait quelque chose dans ces compétences qui rendent les humains différents des autres animaux et des machines. Par conséquent, il est important de noter que l'instrumentalisation de l'IA à des fins techno-solutionist telles que le remplacement d'êtres chers peut conduire à une dévaluation de ce nous caractérise en tant qu'êtres humains.

La quatrième question éthique est de savoir qui porte la responsabilité des résultats d'un deadbot - en particulier dans le cas d'effets nocifs.

Imaginez que le robot mort de Jessica ait appris de manière autonome à agir d'une manière qui a dégradé sa mémoire ou endommagé de manière irréversible [la santé mentale de Barbeau](https://theconversation.com/bereaved-who-take-comfort-in-digital-messages-from-dead- proches-vivent-dans-la-peur-de-les-perdre-109754). Qui en assumerait la responsabilité ? Les experts en IA répondent à cette question glissante par deux approches principales : premièrement, la responsabilité incombe à ceux impliqués dans la conception et le développement du système, tant qu'ils le font en fonction de leurs intérêts particuliers et de leur vision du monde ; deuxièmement, les systèmes d'apprentissage automatique dépendent du contexte, de sorte que les responsabilités morales de leurs sorties devraient être réparties entre tous les agents qui interagissent avec eux.

Je me place plus près de la première position. Dans ce cas, comme il y a une co-création explicite du deadbot qui implique OpenAI, Jason Rohrer et Joshua Barbeau, je considère qu'il est logique d'analyser le niveau de responsabilité de chaque partie.

Premièrement, il serait difficile de rendre OpenAI responsable après avoir explicitement interdit l'utilisation de leur système à des fins sexuelles, amoureuses, d'automutilation ou d'intimidation.

Il semble raisonnable d'attribuer un niveau significatif de responsabilité morale à Rohrer parce qu'il : (a) a explicitement conçu le système qui a permis de créer le deadbot ; (b) l'a fait sans prévoir de mesures pour éviter des résultats négatifs potentiels ; (c) était conscient qu'il ne se conformait pas aux directives d'OpenAI ; et (d) en ont profité.

Et parce que Barbeau a customisé le deadbot en s'appuyant sur des traits particuliers de Jessica, il semble légitime de le tenir co-responsable au cas où cela dégraderait sa mémoire.

Éthique, sous certaines conditions

Donc, pour en revenir à notre première question générale de savoir s'il est éthique de développer un deadbot d'apprentissage automatique, nous pourrions donner une réponse affirmative à condition que :

• tant la personne imitée que celle qui la personnalise et interagit avec elle ont donné leur libre consentement à une description aussi détaillée que possible de la conception, du développement et des utilisations du système ;
• les aménagements et usages qui ne respectent pas ce à quoi la personne imitée a consenti ou qui vont à l'encontre de sa dignité sont interdits ;
• les personnes impliquées dans son développement et celles qui en bénéficient assument la responsabilité de ses conséquences négatives potentielles. À la fois rétroactivement, pour rendre compte des événements qui se sont produits, et prospectivement, pour empêcher activement qu'ils ne se reproduisent à l'avenir.

Ce cas illustre pourquoi l'éthique de l'apprentissage automatique est importante. Cela illustre également pourquoi il est essentiel d'ouvrir un débat public qui puisse mieux informer les citoyens et nous aider à élaborer des mesures politiques pour rendre les systèmes d'IA plus ouverts, socialement équitables et conformes aux droits fondamentaux.