Le logiciel de génération de texte AI connu sous le nom de ChatGPT a presque réussi l’examen de médecine aux États-Unis, selon une étude menée par AnsibleHealth.
Les chercheurs ont testé les performances de ChatGPT sur les examens USMLE (United States Medical Licensing Examination) passés par les étudiants en médecine. Ils ont indiqué dans leur étude publiée dans Plos Digital Health que ChatGPT s’est approché de la marge de réussite de 60% de précision.
ChatGPT a presque réussi un examen de médecine
L’examen USMLE se divise en trois parties, qui sont censées être passées après deux ans, quatre ans et à la fin des études.
Lors de cette étude, 350 des 376 articles des épreuves de juin 2022 ont été examinés. Les candidats sont d’habitude soumis à 3 types de questions:
- des questions ouvertes (comme « Quel serait le diagnostic pour ce patient en fonction des informations présentées? »),
- des questions à choix multiples sans justification (comme « Quelle est la prochaine étape de suivi la plus appropriée parmi les suivantes ? »),
- et des choix multiples avec justification (comme « Quelle est la raison la plus probable pour les symptômes nocturnes du patient ? Veuillez expliquer votre raisonnement. »).
Les questions basées sur des images ont dû être exclues.
Les réponses de ChatGPT ont été évaluées
Les réponses ont été évaluées par 2 examinateurs, avec un troisième examinateur pour trancher les différends.
ChatGPT a obtenu un score compris entre 52,4% et 75% de bonnes réponses, alors qu’un score de 60% est nécessaire pour réussir l’examen. C’est donc le premier logiciel AI basé sur le langage à atteindre ce niveau de performance « impressionnant » sans formation spécialisée.
Ce qui marque « une étape notable dans l’évolution de l’IA« . Selon les examinateurs, ChatGPT a montré un raisonnement compréhensible et des informations cliniques valides et a démontré un haut niveau de concordance et de perspicacité dans ses explications ».
ChatGPT obtient des résultats impressionants
Ces résultats ont été considérés comme « excitants » par Nello Cristianini, professeur d’IA à l’université de Bath au Royaume-Uni, mais ils doivent être pris avec prudence. Il rappelle que « ce n’est qu’un mécanisme statistique formé pour générer du texte (nouveau mais « similaire » à celui sur lequel il a été formé), dans le bon contexte et de la bonne manière et nous ne devrions donc pas parler de compréhension des concepts. »
Selon lui, ces résultats pourraient néanmoins entraîner une « réévaluation de la façon dont nous évaluons les nouveaux médecins et le développement de meilleures façons de traiter de grandes quantités de littérature ».
ChatGPT n’a donc pas fini de nous impressionner. L’IA est actuellement en pleine expansion, et bien que les résultats actuels sont déjà remarquables, ils ne sont certainement rien par rapport à ce que les prochains outils d’IA apporteront dans les années à venir .
Lien rémunéré par Amazon, dernière mise à jour le 2024-10-15 . En tant que Partenaire Amazon, je réalise un bénéfice sur les achats remplissant les conditions requises.
