« Écrit par une IA à 97 % » : peut-on vraiment faire confiance aux détecteurs de ChatGPT ?
Écoles, universités, éditeurs et internautes utilisent désormais des logiciels censés reconnaître les textes produits par l’intelligence artificielle. Leurs scores paraissent catégoriques. Pourtant, même les meilleurs détecteurs restent faillibles et leurs résultats ne constituent pas une preuve d’utilisation de l’IA.
Résumé de l'article
Les détecteurs comme Pangram promettent d’identifier les textes écrits par ChatGPT avec une précision spectaculaire. Mais leurs scores restent des indices, et non des preuves de fraude.
« Généré par l’IA : 97 %. » Le verdict semble difficilement contestable. Un texte est introduit dans un logiciel, quelques secondes passent et un pourcentage apparaît. Reste alors, en apparence, à confondre son auteur.
La réalité est beaucoup moins simple. Le Washington Post s’est penché sur Pangram, l’un des détecteurs d’écriture artificielle les plus réputés du moment, à travers une expérience interactive particulièrement révélatrice. Le journal soumet au logiciel un petit texte produit par une intelligence artificielle : Pangram lui attribue un « signal IA » de 97 %. Le lecteur peut ensuite remplacer certaines expressions par des formulations humaines et observer le verdict évoluer.
L’exercice révèle surtout la nature de ces outils : ils ne découvrent pas une mystérieuse empreinte numérique laissée par ChatGPT entre les lignes. Ils classifient un texte en fonction des caractéristiques apprises par leurs propres modèles. Et transformer cette estimation en preuve de fraude peut devenir dangereux.
Même le pape s’est retrouvé soupçonné
L’affaire a pris une tournure assez cocasse lorsque Pangram a été utilisé sur une encyclique de 47 pages publiée par le pape et consacrée précisément aux dangers de l’intelligence artificielle.
Le logiciel ayant identifié certains passages comme potentiellement produits par IA, les accusations ont rapidement circulé sur les réseaux sociaux : le souverain pontife aurait-il fait rédiger par une intelligence artificielle un texte mettant en garde contre l’intelligence artificielle ?
C'est précisément ce type de raccourci que met en évidence le Washington Post. Un résultat fourni par un détecteur peut très rapidement devenir, dans le débat public, une accusation présentée comme établie.
Le problème devient autrement plus sérieux lorsqu'il ne s'agit plus du pape sur X, mais d'un étudiant accusé de tricherie, d'un chercheur soupçonné de fraude ou d'un écrivain dont la réputation dépend de l'authenticité de son travail.
Les détecteurs ont pourtant énormément progressé
Il serait toutefois tout aussi faux d'en conclure que ces logiciels ne valent rien. Pangram revendique aujourd'hui des performances impressionnantes. Son dernier modèle affiche dans son propre rapport technique un taux de faux positifs de 0,0041 %. Surtout, des travaux indépendants récents aboutissent à des résultats plutôt favorables : une étude publiée en juin par des chercheurs de la Vrije Universiteit Brussel a comparé quatre outils et constaté que Pangram obtenait les meilleures performances de l'échantillon, notamment pour les textes entièrement générés par IA, hybrides ou retravaillés.
Les chercheurs n'ont même relevé aucun faux positif de Pangram dans leur échantillon de textes entièrement humains. Ils constatent ainsi une amélioration sensible par rapport aux générations antérieures de détecteurs.
Mais leur conclusion contient la précaution essentielle : ces outils peuvent constituer un premier signal utile, mais ne devraient pas servir de preuve unique dans une décision aux conséquences importantes.
Autrement dit, « 97 % IA » ne signifie pas nécessairement : « nous avons 97 % de certitude que l'auteur a triché ».
Détecter un texte n’est pas reconstituer sa fabrication
Une autre difficulté est apparue avec la banalisation de l'IA comme outil de correction. Entre un texte entièrement écrit par ChatGPT et un texte entièrement écrit par un humain, il existe désormais une immense zone grise : correction orthographique, reformulation d'une phrase, traduction, amélioration stylistique, réorganisation d'un paragraphe ou réécriture complète.
Une étude prépubliée ce mois-ci consacrée précisément à l'intégrité académique estime ainsi que les détecteurs peuvent signaler des textes qui n'ont reçu qu'une assistance éditoriale de l'IA, sans pouvoir nécessairement traduire ce score en intention de frauder. Les auteurs concluent eux aussi qu'un score de détection ne devrait pas constituer à lui seul une preuve de faute académique.
Un cas récent l'illustre parfaitement. Des étudiants de Berkeley ont soumis à Pangram une tribune d'une professeur de mathématiques et obtenu un résultat suggérant une part d'assistance artificielle. L'universitaire a ensuite reconnu avoir effectivement employé des outils d'IA pour l'aider à éditer le texte, tout en affirmant que l'analyse et le travail intellectuel provenaient de son équipe.
Le détecteur avait donc repéré quelque chose. Mais déterminer exactement ce que ce « quelque chose » signifiait nécessitait encore une enquête humaine.
Le paradoxe du tricheur soigneux
Un autre problème menace ces outils : la course permanente entre détection et contournement.
Plus les détecteurs apprennent à reconnaître les productions des grands modèles, plus apparaissent des outils destinés à « humaniser » les textes artificiels.
Certains travaux récents montrent que des transformations conçues spécialement pour contourner les détecteurs peuvent fortement dégrader leurs performances. Une étude publiée en août rapporte même des taux d'évasion extrêmement élevés après recours à un outil de « humanisation ».
On aboutit alors à un paradoxe : celui qui copie paresseusement une réponse produite par ChatGPT risque davantage d'être repéré que celui qui fait générer son travail puis prend soin d'en maquiller méthodiquement les caractéristiques.
La détection devient une course technologique sans fin.
Un indice, pas un détecteur de mensonge
Voilà sans doute la distinction qui se perd lorsque ces outils passent du laboratoire à la salle de classe ou aux réseaux sociaux.
Un bon détecteur peut être statistiquement très performant sur de grands ensembles de textes tout en restant insuffisant pour condamner avec certitude une personne déterminée.
Même une proportion minuscule de faux positifs devient problématique dès lors que des millions de textes sont analysés. Et la question n'est plus seulement technique lorsque le résultat peut entraîner une sanction universitaire, une accusation publique de fraude ou la remise en cause du travail d'un auteur.
Le développement spectaculaire de l'intelligence artificielle crée incontestablement un besoin de vérification. Les détecteurs répondent en partie à ce besoin et les meilleurs d'entre eux sont devenus beaucoup plus performants qu'ils ne l'étaient aux débuts de ChatGPT.
Mais ils ne sont pas des machines à découvrir la vérité. Un score élevé peut justifier une vérification, l'examen des brouillons, de l'historique du document ou du processus de rédaction. Il ne devrait pas se substituer à eux.
Car dans un monde où l'intelligence artificielle devient capable d'imiter l'écriture humaine, le risque inverse apparaît à son tour : commencer à prendre l'écriture humaine pour celle d'une machine.
