Aller au contenu
Ludicweb » Informatique » Les détecteurs de GPT ne sont pas fiables pour des textes rédigés par des non anglophones

Les détecteurs de GPT ne sont pas fiables pour des textes rédigés par des non anglophones

L’IA accessible au grand public n’a que quelques mois d’exitance que déjà le WEB pullule de texte rédigés automatiquement. Face à cela les détecteurs de texte rédigés par IA font leur apparition et sont de plus en plus utilisés. Mais ceux-ci sont-ils réellement efficaces ? Ne font-ils pas une quantité significative de tests faux-positifs ?

Une nouvelle étude révèle que les programmes informatiques couramment utilisés pour déterminer si un texte a été écrit par une IA ont tendance à étiqueter faussement les articles rédigés par des rédacteurs non-anglophones. Cette découverte soulève des questions sur la fiabilité de ces détecteurs d’IA.

Les conséquences potentielles de l’utilisation des détecteurs d’IA

James Zou, auteur principal de l’étude et membre de l’Université de Stanford, met en garde contre l’utilisation de ces détecteurs d’IA.
Selon lui, ils pourraient avoir des conséquences négatives sur les individus, notamment les étudiants et les personnes postulant à des emplois. Les outils d’IA comme le chatbot ChatGPT d’OpenAI peuvent composer des essais, résoudre des problèmes scientifiques et mathématiques, et produire du code informatique. Les enseignants sont de plus en plus préoccupés par l’utilisation de l’IA dans le travail des étudiants et beaucoup d’entre eux ont commencé à utiliser des détecteurs de GPT pour vérifier les devoirs des étudiants.

🔸 Les résultats de l’étude

L’équipe de Zou a testé 7 détecteurs de GPT populaires. Ils ont analysé 91 essais en anglais écrits par des locuteurs non natifs pour un test de compétence en anglais largement reconnu, le TOEFL.
Ces plateformes ont incorrectement étiqueté plus de la moitié des essais comme étant générés par l’IA.
En comparaison, les détecteurs ont pu classer correctement plus de 90% des essais écrits par des élèves de huitième année aux États-Unis comme étant générés par des humains.

Comparaison of GPT detector performance
Comparaison of GPT detector performance

🔸Le fonctionnement des détecteurs de GPT

Zou explique que les algorithmes de ces détecteurs fonctionnent en évaluant la perplexité du texte, c’est-à-dire à quel point le choix des mots est surprenant dans un essai.
Les modèles de langage volumineux comme ChatGPT sont formés pour générer du texte avec une faible perplexité pour mieux simuler la façon dont un humain moyen parle. Par conséquent, des choix de mots plus simples adoptés par des auteurs non anglophones les rendraient plus vulnérables à être étiquetés comme utilisant l’IA.

🔸 Les implications au-delà du secteur de l’éducation

L’utilisation de détecteurs de GPT pourrait également avoir des implications au-delà du secteur de l’éducation.
Par exemple, les moteurs de recherche comme Google dévalorisent le contenu généré par l’IA, ce qui pourrait porter préjudice aux auteurs non-anglophones en reléguant leur article dans les derniers résultats de recherche.
La solution proposé par James Zou est que ces algorithmes devraient être formés avec des types d’écriture plus divers pour améliorer ces détecteurs.

🧐 La petite note de la rédaction :
Les détecteurs de texte rédigés à l’aide de l’intelligence artificielle devraient être davantage améliorés et évalués avant d’être mis en usage.
La différence de détection entre rédacteurs anglophones et non-anglophones pose problème dans de nombreux domaines. Nul doute que ces détecteurs vont s’améliorer avec le temps. Mais en attendant, il faut manier ces outils avec précaution et ne pas prendre pour argent comptant le résultat donné !

Source de l’étude

Lien rémunéré par Amazon, dernière mise à jour le 2024-03-19 . En tant que Partenaire Amazon, je réalise un bénéfice sur les achats remplissant les conditions requises.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *