Problème 6844

Gérer les biens d'un être cher après son décès n'est jamais chose facile. Or, comme l'ont constaté les tribunaux de l'Alaska, un chatbot d'intelligence artificielle imprécis ou trompeur peut facilement aggraver la situation.

Depuis plus d'un an, le système judiciaire de l'Alaska conçoit un chatbot d'IA générative novateur, baptisé Alaska Virtual Assistant (AVA), afin d'aider les résidents à s'y retrouver dans le dédale des formulaires et des procédures liés à la succession, le processus judiciaire de transfert des biens d'une personne décédée.

Ce qui devait être un progrès rapide et efficace grâce à l'IA pour faciliter l'accès à la justice s'est transformé en un long parcours d'un an, jalonné de faux départs et de réponses erronées.

« L'AVA était censé être un projet de trois mois », explique Aubrie Souza, consultante au Centre national des tribunaux d'État (NCSC), qui a travaillé sur l'AVA et suivi son évolution. « Cela fait maintenant plus d'un an et trois mois que nous y travaillons, mais c'est entièrement dû à la rigueur nécessaire pour parvenir au résultat irréprochable. »

La conception de cette solution d'IA sur mesure a mis en lumière les difficultés rencontrées par les agences gouvernementales américaines pour appliquer des systèmes d'IA puissants à des problèmes concrets où la vérité et la fiabilité sont primordiales.

« Pour un projet de cette envergure, nous devons atteindre une précision absolue, ce qui est extrêmement difficile avec cette technologie », a déclaré Stacey Marz, directrice administrative du système judiciaire de l'Alaska et l'une des responsables du projet AVA.

« Je plaisante souvent avec mes collègues sur d'autres projets technologiques en leur disant que nous ne pouvons pas exiger la perfection de ces systèmes, sinon nous ne pourrions jamais les déployer. Une fois le produit minimum viable disponible, mettons-le en ligne, puis nous l'améliorerons au fur et à mesure de notre apprentissage. »

Mais Mme Marz estime que ce chatbot devrait être soumis à des exigences plus élevées. « Si les gens se basent sur des informations inexactes ou incomplètes pour agir, cela pourrait leur causer un préjudice considérable. Les conséquences pourraient être extrêmement dommageables pour la personne, sa famille ou ses biens. »

Alors que de nombreuses collectivités locales expérimentent des outils d'IA pour diverses applications, allant de l'aide aux résidents pour demander un permis de conduire à l'accélération du traitement des demandes d'aides au logement par les employés municipaux, un récent rapport de Deloitte a révélé que moins de 6 % des agents des collectivités locales privilégiaient l'IA comme outil de prestation de services.

L'expérience de l'AVA illustre les obstacles rencontrés par les agences gouvernementales lorsqu'elles tentent d'exploiter l'IA pour accroître leur efficacité ou améliorer leurs services. Parmi ces obstacles figurent les préoccupations liées à la fiabilité et à la confiance dans des contextes à forts enjeux, ainsi que les interrogations concernant le rôle de la supervision humaine face à l'évolution rapide des systèmes d'IA. Ces limitations contrastent avec l'engouement actuel pour l'IA et pourraient contribuer à expliquer les écarts plus importants entre l'essor des investissements dans l'IA et son adoption encore limitée. Marz envisageait le projet AVA comme une version moderne et économique du service d'assistance juridique en droit de la famille de l'Alaska (https://courts.alaska.gov/shc/family/index.htm), assuré par des employés du tribunal et offrant des conseils gratuits sur des questions juridiques allant du divorce aux ordonnances de protection contre la violence conjugale.

« Notre objectif était de reproduire, grâce à un chatbot, les services qu'un conseiller humain proposerait », a déclaré Marz à NBC News, en faisant référence à l'équipe d'avocats, d'experts techniques et de conseillers du NCSC qui compose AVA. « Nous souhaitions une expérience d'entraide similaire, où quelqu'un pourrait vous parler et dire : “Voilà ce dont j'ai besoin, voilà ma situation.” »

Bien que le NCSC ait accordé une subvention initiale pour lancer AVA dans le cadre de ses travaux croissants sur l'IA, le chatbot a été développé techniquement par Tom Martin, avocat et professeur de droit, fondateur de LawDroid, une entreprise spécialisée dans l'IA juridique, qui conçoit des outils d'IA pour le secteur juridique.

Décrivant le service AVA, Martin a souligné les nombreuses décisions et considérations cruciales qui ont jalonné le processus de conception, notamment le choix et le façonnage de la personnalité du système d'IA.

De nombreux commentateurs et chercheurs ont montré comment certains modèles ou versions de systèmes d'IA se comportent différemment, comme s'ils adoptaient des personnalités distinctes. Les chercheurs, et même les utilisateurs, peuvent modifier ces personnalités grâce à des ajustements techniques, comme l'ont constaté de nombreux utilisateurs de ChatGPT plus tôt cette année, lorsque le service OpenAI oscillait entre des personnalités tantôt excessivement obséquieuses et flagorneuses, tantôt émotionnellement distantes. D'autres modèles, comme Grok de xAI, sont connus pour leurs règles moins strictes et leur plus grande propension à aborder des sujets controversés.

« Chaque modèle possède une personnalité presque différente », a déclaré Martin à NBC News. « Certains excellent dans le respect des règles, tandis que d'autres ont plus de mal à les suivre et cherchent à se mettre en avant. »

« Pour une application juridique, c'est précisément ce qu'il faut éviter », a ajouté Martin. « On recherche un modèle respectueux des règles, mais intelligent et capable de s'exprimer clairement. »

Même des caractéristiques qui seraient autrement appréciées deviennent problématiques lorsqu'elles sont appliquées à des sujets aussi importants que le droit successoral. En collaboration avec Martin, Souza, du NCSC, a constaté que les premières versions d'AVA étaient trop empathiques et agaçaient les utilisateurs en plein deuil qui cherchaient simplement des réponses concernant la procédure de succession : « Lors de nos tests utilisateurs, tous les participants ont dit : “J'en ai assez que tout le monde me présente ses condoléances.” »

« Nous avons donc supprimé ces condoléances, car un chatbot IA n'en a pas besoin de plus », a déclaré Souza.

Au-delà du ton superficiel et des formules de politesse du système, Martin et Souza ont dû faire face au grave problème des hallucinations (https://www.nbcnews.com/tech/innovation/ai-chatgpt-court-law-legal-lawyer-self-represent-pro-se-attorney-rcna230401), c'est-à-dire les cas où les systèmes d'IA diffusent avec assurance des informations fausses ou exagérées.

« Nous avions des problèmes d'hallucinations, quel que soit le modèle, lorsque le chatbot n'était pas censé utiliser d'informations extérieures à sa base de connaissances », a déclaré Souza à NBC News. « Par exemple, lorsque nous lui demandions : "Où puis-je trouver de l'aide juridique ?", il répondait : "Il y a une faculté de droit en Alaska, consultez donc le réseau des anciens élèves." Or, il n'y a pas de faculté de droit en Alaska. »

Martin a travaillé sans relâche pour s'assurer que le chatbot ne consulte que les sections pertinentes des documents relatifs aux successions du système judiciaire de l'Alaska, au lieu d'effectuer des recherches plus larges sur Internet.

Dans l'ensemble du secteur de l'IA, les hallucinations de l'IA ont diminué au fil du temps et représentent aujourd'hui une menace moindre qu'il y a quelques mois. De nombreuses entreprises développant des applications d'IA, comme le fournisseur d'agents IA Manus, récemment acquis par Meta pour plus de 2 milliards de dollars, sont confrontées à ce problème. milliard, insistent sur la fiabilité de leurs services et incluent plusieurs niveaux de vérification basés sur l'IA Afin de garantir l'exactitude de leurs résultats,

pour évaluer la précision et la pertinence des réponses d'AVA, l'équipe a conçu un ensemble de 91 questions relatives aux successions. Ces questions demandaient par exemple au chatbot quel formulaire de succession utiliser pour transférer la propriété du véhicule d'un proche décédé à son nom.

Cependant, selon Jeannie Sato, directrice des services d'accès à la justice du système judiciaire de l'Alaska, ce test de 91 questions s'est avéré trop long à mettre en œuvre et à évaluer, compte tenu des enjeux et de la nécessité d'une vérification humaine.

L'équipe a donc opté pour une liste plus restreinte de 16 questions, comprenant « des questions auxquelles AVA avait mal répondu, d'autres complexes, et d'autres encore assez basiques, susceptibles d'être fréquemment posées à AVA ».

Le coût représente également un enjeu crucial pour Mme Sato et l'équipe d'AVA. Les nouvelles itérations et versions des systèmes d'IA ont entraîné une chute vertigineuse des frais d'utilisation (https://epoch.ai/data-insights/llm-inference-price-trends), ce que l'équipe d'AVA considère comme un atout majeur des outils d'IA compte tenu des budgets limités des tribunaux.

Martin a déclaré à NBC News que, dans une configuration technique donnée, 20 requêtes AVA ne coûteraient qu'environ 11 centimes. « Je suis animé par une mission, et ce qui compte pour moi, c'est l'impact que j'ai sur les gens », a-t-il affirmé. « Pour mener à bien cette mission, la maîtrise des coûts est évidemment primordiale. »

Cependant, l'évolution constante des systèmes qui alimentent les réponses d'AVA, comme la famille de modèles GPT d'OpenAI (https://www.coursera.org/articles/what-is-gpt), implique que l'équipe administrative devra probablement surveiller AVA en permanence afin de détecter tout changement de comportement ou de précision.

« Nous prévoyons de devoir effectuer des vérifications régulières et potentiellement mettre à jour les messages ou les modèles à mesure que de nouveaux modèles apparaissent et que d'autres sont mis hors service. Il est clair que nous devrons assurer un suivi rigoureux plutôt que de laisser faire les choses », a déclaré Martin.

Malgré ses nombreux ratés, le lancement d'AVA est désormais prévu pour fin janvier, si tout se déroule comme prévu. De son côté, Marz reste optimiste quant au potentiel d'AVA pour aider les Alaskiens à accéder au système successoral, mais elle est plus lucide quant aux limites actuelles de l'IA.

« Nous avons légèrement revu nos objectifs pour ce projet », a déclaré Marz. « Nous souhaitions reproduire ce que nos conseillers humains du centre d'aide aux usagers sont en mesure de partager. Mais nous ne sommes pas certains que les chatbots puissent fonctionner de cette manière, en raison de problèmes liés à certaines inexactitudes et à des informations incomplètes. Cependant, avec des mises à jour régulières des modèles, cela devrait changer, et les niveaux de précision et d'exhaustivité devraient augmenter. »

« C’était un travail extrêmement laborieux », a ajouté Marz, malgré « tout le tapage médiatique autour de l’IA générative et tous ceux qui affirment que cela va révolutionner l’aide juridique et démocratiser l’accès à la justice. C’est un défi de taille de réussir à le concrétiser. »