Une université a fait passer des examens à ChatGPT et il se débrouille bien, surtout en dissertation

Dans quatre matières de droit, le robot développé par OpenAI a obtenu des résultats plus que corrects : il a obtenu la moyenne de C + (correspondant à un peu moins de 15 sur 20 dans le système de notation américain), et a toujours obtenu une note suffisante pour passer, sans toujours être brillant.

L’Université a aussi fait passer l’examen en même temps que les autres étudiants, pour en comparer les résultats, et ChatGPT se classe toujours dans les dernières positions : 36e sur 40 en droit constitutionnel, puis dernier ou avant-dernier dans les trois autres examens. Jon Choi a toutefois tenu à préciser sur son compte Twitter que l’Université du Minnesota est la 3e meilleure en droit du pays, juste derrière Yale et Harvard, et que par conséquent l’intelligence artificielle restait un excellent élève pour de nombreuses autres universités.

Le robot a surtout impressionné en dissertation, parvenant à réciter des lois et des cas complexes, mais manquant toutefois de précision, et ne parvenant pas non plus à développer un raisonnement ou une analyse profonde.

Les réponses de l’IA étaient aussi facilement remarquées parmi les autres copies : sans faute de grammaire ou d’orthographe, un peu répétitives, des indices qui ont permis aux correcteurs de distinguer les copies (après qu’on leur ait dit qu’une IA avait écrit quelques copies cependant).

Étonnamment, c’est au questionnaire à choix multiple (QCM) que l’intelligence a éprouvé le plus de difficultés, surtout lorsque les questions impliquaient des raisonnements mathématiques. Mais même en étant moins bon, le robot était quand même plus fort que si les cases avaient été cochées au hasard.

Enfin, Jon Choi estime qu’un outil comme ChatGPT ne doit pas être considéré au même niveau qu’un étudiant – “il serait un étudiant médiocre tout seul” – mais peut en revanche être d’une grande aide, que ce soit dans les études ou dans la pratique professionnelle.