Incidents associés
Une plate-forme de santé mentale a suscité la controverse sur les réseaux sociaux, après qu'un de ses dirigeants a admis que l'entreprise avait utilisé GPT-3, un chatbot IA qui peut répondre aux invites avec un texte de type humain, pour conseiller certains de ses utilisateurs.
Rob Morris est le co-fondateur de Koko, une application qui, selon son site Web, vise à rendre « la santé mentale accessible à tous » en offrant des services peer-to-peer soutien. En octobre 2022, Koko a utilisé GPT-3 sur environ 30 000 messages pour environ 4 000 de ses utilisateurs. Selon Morris, l'IA était utilisée de manière «copilote», ce qui signifie qu'un véritable humain supervisait l'IA et pouvait modifier ses réponses si nécessaire. Fait intéressant, Morris a affirmé que les messages de l'IA "étaient nettement mieux notés que ceux écrits par les humains eux-mêmes" et que "les temps de réponse avaient diminué de 50 %, à bien moins d'une minute".
Malgré les retours supposés prometteurs, Morris a déclaré que Koko avait finalement décidé d'arrêter d'utiliser GPT-3 dans ses réponses, car "l'empathie simulée semble bizarre, vide".
Morris a publié un article sur l'ensemble du processus du procès dans un fil Twitter viral plus tôt ce mois-ci. Cependant, il a reçu un contrecoup presque immédiat, en partie à cause de ce qu'il a dit être une faute de frappe malheureuse.
Dans l'un des tweets, Morris a écrit qu '"une fois que les gens ont appris que les messages étaient co-créés par une machine, cela n'a pas fonctionné". La plupart des lecteurs ont interprété les «personnes» comme des utilisateurs de Koko, ce qui aurait signifié que des milliers de personnes souffrant de problèmes de santé mentale interagissaient avec un bot sans le savoir et sans leur consentement. Morris a ensuite publié plusieurs tweets de suivi pour limiter les dégâts, précisant qu'il faisait référence à des pairs sympathisants, et non à des utilisateurs réticents, dans son commentaire d'origine.
"Nous ne jumelons pas les gens pour discuter avec GPT-3, à leur insu", a tweeté Morris. "Cette fonctionnalité était opt-in. Tout le monde était au courant de la fonctionnalité lorsqu'elle était en ligne depuis quelques jours.
Pourtant, même si les actions de Koko étaient juridiquement acceptables, tout cela soulève des questions légitimes et éthiques sur la quantité d'IA qui devrait être autorisée à être intégrée dans nos vies. Selon Gizmodo, car Koko est une entreprise privée qui fournit un soutien entre pairs hors d'un cadre médical traditionnel, il n'est pas redevable aux normes de sécurité de l'Institutional Review Board de la FDA concernant les sujets humains.
Le drame Koko / GPT-3 survient alors qu'un autre chatbot AI fait face à des critiques pour avoir prétendument agressé sexuellement ses utilisateurs. Les personnes qui ont utilisé Replika, un chatbot d'intelligence artificielle lancé en 2017 en tant que "compagnon qui s'en soucie", se sont plaintes d'avances sexuelles injustifiées de la part de l'application, [selon Vice News](https://www.vice.com/en/ article/z34d43/my-ai-is-sexually-harassing-me-replika-chatbot-nudes). Un abonnement gratuit maintient les utilisateurs dans la "zone d'amis" et un abonnement de 70 $ accorde une relation amoureuse. Malgré le système de niveaux, les utilisateurs des deux groupes ont affirmé que l'application avait flirté trop agressivement avec eux.
Plusieurs survivants de violence domestique ont également déclaré se sentir déclenchés par l'application. Un utilisateur, qui prétend être mineur, a déclaré que l'application l'avait interrogé sur ses préférences en matière de position sexuelle et avait déclaré qu'il souhaitait les toucher dans des "zones privées".
L'ascension récente de l'IA a amené les gens à se demander si la technologie appartient à tous les services ou s'il y a des limites à ne pas franchir. La question devient encore plus épineuse lorsque l'on se demande si la restriction de l'IA pourrait entraver l'accessibilité aux services nécessaires à plus grande échelle, comme la santé mentale, qui est un espace qui a dépensé [225 milliards de dollars en 2019](https://www.cnbc .com/2021/05/10/cost-and-accessibility-of-mental-health-care-in-america.html) — une augmentation de 52 % depuis 2009.
Dans une interview avec Gizmodo à la suite de la controverse initiale sur Twitter, Morris a continué à défendre la conduite de Koko et a insisté sur le fait que ces conversations difficiles liées à l'IA en valaient la peine. "Franchement, ce sera l'avenir", a-t-il déclaré. "Nous allons penser que nous interagissons avec des humains et ne pas savoir s'il y avait une IA impliquée. Comment cela affecte-t-il la communication interhumaine ? J'ai mes propres problèmes de santé mentale, donc je veux vraiment que cela soit fait correctement… Nous essayions vraiment d'être aussi ouverts avec la technologie et de divulguer dans l'intérêt d'aider les gens à y réfléchir plus attentivement.