Pourquoi les outils d'évaluation basés sur l'IA attribuent-ils des notes différentes à une même dissertation ?

Introduction

Deux onglets de navigateur, un essai et deux résultats très différents. Le premier logiciel de vérification indique 8 %. Le second, 61 %. Rien n’a changé dans le texte entre les deux copier-coller, vous n’avez pas modifié un seul mot, et vous ne savez plus quel résultat croire.

Aucun des deux ne ment. Ils répondent simplement différemment à la question, et comprendre pourquoi permet de dissiper la panique du moment. Cet article explique d’où vient cet écart, comment comparer les résultats de manière sensée et ce que ce désaccord vous révèle réellement.

Des apprentissages différents, des instincts différents

Chaque outil de vérification est conçu selon sa propre recette. Certains s’appuient sur la « perplexité », une mesure de la prévisibilité de votre formulation pour un modèle linguistique. D’autres évaluent la « burstiness », c’est-à-dire la variété de la longueur et de la structure des phrases. Beaucoup combinent ces éléments avec des classificateurs entraînés sur des exemples étiquetés de textes humains et générés par des machines, et le contenu de ces exemples façonne tout ce que l’outil détecte par la suite.

La page de présentation du détecteur de Phrasly indique que son apprentissage s’appuie sur plus d’un million d’articles réels rédigés par des humains, une affirmation du fournisseur qu’il est utile de connaître car elle illustre bien le propos : un outil formé principalement sur des articles d’actualité jugera un essai universitaire différemment d’un outil formé sur des rédactions d’étudiants. Deux vérificateurs peuvent lire la même phrase et parvenir à des conclusions différentes parce qu’ils ont appris à partir de bibliothèques de textes différentes.

La signification du pourcentage dépend de l’outil

Même le chiffre phare n’est pas normalisé. Un vérificateur indique la probabilité que l’intégralité du texte soit rédigée par une machine. Un autre indique la part de phrases qu’il estime rédigées par une machine. Un troisième calcule la moyenne des scores par phrase. Tous affichent un pourcentage, mais ils ne mesurent pas la même chose. Les seuils varient également. Un outil peut considérer que tout ce qui dépasse 50 % est probablement rédigé par une machine, tandis qu’un autre attendra d’atteindre 80 % ; ainsi, un résultat brut identique peut donner lieu à des étiquettes opposées.

C’est pourquoi un simple chiffre provenant de deux sources différentes ne peut pas être comparé directement. Vérifiez comment chaque outil décrit son score, et privilégiez ceux qui mettent en évidence les phrases concernées et indiquent les probabilités. Lorsque vous pouvez voir les phrases qui se cachent derrière le chiffre, vous pouvez comparer ce que les outils ont réellement signalé plutôt que les étiquettes qu’ils y ont attribuées.

Les mises à jour des modèles laissent des lacunes

Les outils de rédaction basés sur l’IA évoluent constamment, tandis que les détecteurs sont à la traîne. Un article explicatif publié en 2026 par Centric DXB décrit ce problème comme un « décalage de distribution » : un classificateur entraîné sur d’anciens modèles perd en précision à mesure que de nouveaux modèles apparaissent, jusqu’à ce qu’il soit réentraîné. Un vérificateur mis à jour le mois dernier et un autre mis à jour l’année dernière peuvent traiter un même essai de manière très différente. Cela ne rend pas pour autant les anciens vérificateurs inutiles. Cela signifie simplement que vous devriez consulter les notes de mise à jour récentes d’un outil comme vous le feriez pour la date de sortie d’une application, et considérer l’absence d’informations comme une raison d’être particulièrement prudent.

La couverture est également un facteur à prendre en compte. La page de Phrasly cite ChatGPT, Claude, Gemini, Perplexity, DeepSeek et Grok parmi les modèles qu’elle cible, et prend en charge l’anglais, l’espagnol, le français et l’allemand. Un outil dont la couverture est plus restreinte peut passer à côté de schémas détectés par un autre, ou signaler comme suspect un texte rédigé par un humain qu’il ne comprend tout simplement pas.

Un même essai, lu différemment

Il y a également l’aspect humain du texte. Une étude de 2023 menée par des chercheurs de Stanford a testé sept détecteurs largement utilisés sur 91 essais du TOEFL rédigés par des locuteurs non natifs de l’anglais, et en moyenne 61,3 % ont été à tort classés comme générés par l’IA (Liang et al., Patterns, 2023). Une formulation simple, soignée et prévisible est ce qu’un outil basé sur la perplexité considère comme propre à une machine.

Si votre essai est rédigé dans une langue seconde, dans un style académique très structuré ou selon un modèle standard, attendez-vous à des scores plus élevés et à davantage de divergences entre les outils. Ces divergences ne sont pas aléatoires. Elles reflètent la sensibilité de chaque outil à un style d’écriture courant chez les auteurs honnêtes. Le sujet joue également un rôle. La rédaction technique, avec ses termes fixes et ses structures répétitives, offre à un détecteur moins de variations à analyser qu’une réflexion personnelle.

Une manière judicieuse de comparer les résultats

Lorsque deux outils ne sont pas d’accord, résistez à la tentation de continuer à coller votre texte jusqu’à obtenir un score qui vous plaît. Adoptez plutôt une stratégie. Ne négligez pas la longueur. Collez à chaque fois la version complète de votre essai, car un outil qui ne dispose que de votre introduction résout un problème différent de celui qui a dix pages à analyser.

• Vérifiez le même texte intégral, sans aucune modification entre les analyses.

• Notez comment chaque outil définit son score.

• Comparez les phrases mises en évidence plutôt que les chiffres globaux.

• Marquez toute phrase signalée par les deux outils, car ce recoupement constitue l’indice le plus utile.

• Réécrivez ces lignes en utilisant des formulations précises et originales, puis relancez l'analyse.

Choisissez un vérificateur IA comme référence et utilisez-le de manière cohérente, afin que les variations de score reflètent les changements dans votre écriture plutôt que ceux de l’outil. La cohérence vous donne une tendance dont vous pouvez tirer des enseignements, tandis que passer d’un outil à l’autre ne fait que créer du bruit. Tenez un petit journal si vous faites cela souvent : date, outil, score et phrases signalées. Après quelques essais, vous saurez comment chaque outil a tendance à réagir à votre style, ce qui vaut bien plus qu’une simple lecture.

Quand le désaccord est une source d’information

Voici un point que beaucoup de gens négligent. Si deux outils réputés divergent fortement sur votre texte, c’est le signe d’une ambiguïté. Le texte se situe dans une zone grise que les logiciels ne peuvent pas trancher, et aucun des deux chiffres ne mérite d’être considéré comme une preuve. En 2023, OpenAI a retiré son propre classificateur de texte basé sur l’IA après avoir fait état d’un taux de vrais positifs de 26 % et d’un taux de faux positifs de 9 % (OpenAI, 2023), ce qui rappelle que même les équipes disposant de ressources importantes peinent à tracer une ligne de démarcation claire.

La bonne réaction face à un verdict partagé est donc de vous fier à votre propre processus. Conservez vos brouillons, plans et notes, et soyez prêt à expliquer votre argumentation avec vos propres mots. Si un enseignant ou un relecteur vous interroge sur un score, ces traces sont plus éloquentes que n’importe quelle analyse isolée. Si vous devez communiquer un chiffre à quelqu’un, indiquez une fourchette et précisez les outils utilisés.

La concordance est rare, et il est utile de le savoir

Des outils différents, entraînés différemment, conçus pour des modèles différents et mesurant des éléments légèrement différents, produiront rarement des scores identiques. Le savoir vous permet de cesser de courir après un seul chiffre « correct » et de vous consacrer à quelque chose de plus utile : lire les passages mis en évidence, renforcer les phrases génériques et conserver une trace de votre processus d’écriture. Un écart entre deux outils de vérification n’est pas une crise. C’est une invitation à y regarder de plus près.

Si vous souhaitez mieux comprendre comment les scores de détection sont calculés et quelles sont leurs limites, des articles supplémentaires sur le blog de Phrasly explorent ces questions plus en détail.