Problème 2582
CNN — ChatGPT est suffisamment intelligent pour réussir des examens prestigieux de niveau supérieur, mais pas avec des notes particulièrement élevées.
Selon les professeurs des écoles, le puissant nouvel outil de chatbot IA a récemment passé des examens de droit dans quatre cours à l'Université du Minnesota et un autre examen à la Wharton School of Business de l'Université de Pennsylvanie.
Pour tester dans quelle mesure ChatGPT pouvait générer des réponses aux examens des quatre cours, des professeurs de la faculté de droit de l'Université du Minnesota ont récemment évalué les tests à l'aveugle. Après avoir répondu à 95 questions à choix multiples et 12 questions à développement, le bot a obtenu en moyenne un niveau d'étudiant C+, obtenant une note faible mais de passage dans les quatre cours.
ChatGPT a obtenu de meilleurs résultats lors d'un examen de cours de gestion d'entreprise à Wharton, où il a obtenu une note de B à B. Dans un article détaillant la performance, Christian Terwiesch, professeur de commerce à Wharton, a déclaré que ChatGPT a fait "un travail incroyable" pour répondre aux questions de base sur la gestion des opérations et l'analyse des processus, mais a eu du mal avec des invites plus avancées et a fait des "erreurs surprenantes" avec les mathématiques de base.
"Ces erreurs peuvent être d'une ampleur considérable", a-t-il écrit.
Les résultats des tests surviennent alors qu'un nombre croissant d'écoles et d'enseignants expriment leurs inquiétudes quant à l'impact immédiat de ChatGPT sur les étudiants et leur capacité à tricher sur les devoirs. Certains éducateurs se déplacent maintenant avec une rapidité remarquable pour repenser leurs devoirs en réponse à ChatGPT, même s'il reste difficile de savoir à quel point l'utilisation de l'outil est répandue parmi les étudiants et à quel point cela pourrait vraiment être nocif pour l'apprentissage.
Depuis sa mise à disposition fin novembre, ChatGPT a été utilisé pour générer des essais originaux, des histoires et des paroles de chansons en réponse aux invites des utilisateurs. Il a rédigé des résumés d'articles de recherche qui ont trompé certains scientifiques. Certains PDG l'ont même utilisé pour écrire des e-mails ou faire du travail comptable.
ChatGPT est formé sur de grandes quantités de données en ligne afin de générer des réponses aux invites des utilisateurs. Bien qu'il ait gagné du terrain auprès des utilisateurs, il a également soulevé certaines inquiétudes, notamment au sujet des inexactitudes et de son potentiel de [perpétuation des préjugés et de propagation de la désinformation](https://www.cnn.com/2022/06/30/tech/openai- google-realistic-images-bias/index.html).
Jon Choi, l'un des professeurs de droit de l'Université du Minnesota, a déclaré à CNN que le but des tests était d'explorer le potentiel de ChatGPT pour aider les avocats dans leur pratique et pour aider les étudiants aux examens, que cela soit autorisé ou non par leurs professeurs, car les questions sont souvent imiter l'écriture que font les avocats dans la vraie vie.
"ChatGPT a eu du mal avec les composants les plus classiques des examens des facultés de droit, tels que la détection de problèmes juridiques potentiels et une analyse approfondie appliquant des règles juridiques aux faits d'une affaire", a déclaré Choi. "Mais ChatGPT pourrait être très utile pour produire une première ébauche qu'un étudiant pourrait ensuite affiner."
Il soutient que la collaboration homme-IA est le cas d'utilisation le plus prometteur pour ChatGPT et une technologie similaire.
"Mon pressentiment est que les assistants IA deviendront des outils standard pour les avocats dans un avenir proche, et les facultés de droit devraient préparer leurs étudiants à cette éventualité", a-t-il déclaré. "Bien sûr, si les professeurs de droit veulent continuer à tester le rappel simple des règles et doctrines juridiques, ils devront mettre en place des restrictions comme l'interdiction d'Internet pendant les examens pour faire respecter cela."
De même, Terwiesch de Wharton a trouvé que le chatbot était "remarquablement bon" pour modifier ses réponses en réponse aux indices humains, comme retravailler les réponses après avoir signalé une erreur, suggérant la possibilité pour les gens de travailler avec l'IA.
À court terme, cependant, un malaise persiste quant à savoir si et comment les étudiants doivent utiliser ChatGPT. Les écoles publiques de New York et de Seattle, par exemple, ont déjà interdit des élèves et enseignants d'utiliser ChatGPT sur les réseaux et les appareils du district.
Considérant que ChatGPT a obtenu des résultats supérieurs à la moyenne lors de son examen, Terwiesch a déclaré à CNN qu'il convenait que des restrictions devraient être mises en place pour les étudiants pendant qu'ils passent des tests.
« Des interdictions sont nécessaires », a-t-il déclaré. "Après tout, lorsque vous donnez un diplôme à un médecin, vous voulez qu'il connaisse la médecine, pas comment utiliser un bot. Il en va de même pour les autres certifications de compétences, y compris le droit et les affaires.
Mais Terwiesch pense que cette technologie a toujours sa place dans la salle de classe. "Si tout ce que nous retrouvons est le même système éducatif qu'avant, nous avons gâché une opportunité incroyable qui vient avec ChatGPT", a-t-il déclaré.