Waarom AI-correctieprogramma’s verschillende scores geven voor hetzelfde essay

Inleiding

Twee browsertabbladen, één essay en twee heel verschillende resultaten. De eerste controle-tool geeft 8 procent aan. De tweede zegt 61. Er is niets aan de tekst veranderd tussen het plakken door, je hebt geen woord aangepast, en nu weet je niet zeker welk scherm je moet geloven.

Geen van beide liegt. Ze beantwoorden de vraag op een andere manier, en als je begrijpt waarom, verdwijnt de paniek. In dit artikel wordt uitgelegd waar het verschil vandaan komt, hoe je resultaten op een verstandige manier kunt vergelijken en wat een verschil in uitslag je eigenlijk vertelt.

Verschillende training, verschillende instincten

Elke checker is opgebouwd volgens zijn eigen recept. Sommige baseren zich op ‘perplexity’, een maatstaf voor hoe voorspelbaar je bewoordingen zijn voor een taalmodel. Andere wegen ‘burstiness’ mee, de variatie in zinslengte en -structuur. Veel combineren deze met classifiers die zijn getraind op gelabelde voorbeelden van menselijke en machinale tekst, en wat die voorbeelden bevatten, bepaalt alles wat de tool daarna opmerkt.

Op de detectiepagina van Phrasly staat dat de training is gebaseerd op meer dan 1 miljoen echte artikelen geschreven door mensen. Dit is een opmerking van de aanbieder die het vermelden waard is, omdat het het punt illustreert: een tool die voornamelijk is getraind op nieuwsartikelen zal een academisch essay anders beoordelen dan een tool die is getraind op teksten van studenten. Twee checkers kunnen dezelfde zin lezen en tot verschillende conclusies komen, omdat ze hebben geleerd uit verschillende tekstbibliotheken.

Wat het percentage betekent, hangt af van de tool

Zelfs het cijfer in de kop is niet gestandaardiseerd. De ene controle-tool rapporteert de waarschijnlijkheid dat de gehele tekst door een machine is geschreven. Een andere geeft het aandeel zinnen weer dat volgens de tool door een machine is geschreven. Een derde berekent het gemiddelde van de zinsscores. Ze geven allemaal een percentage weer, maar meten niet hetzelfde. Ook de drempelwaarden verschillen. De ene tool bestempelt alles boven de 50 procent als waarschijnlijk door een machine geschreven, terwijl een andere pas bij 80 procent tot die conclusie komt, waardoor identieke ruwe output tegengestelde labels kan krijgen.

Daarom kunnen kale cijfers uit twee bronnen niet rechtstreeks met elkaar worden vergeleken. Kijk hoe elke tool zijn score beschrijft en geef de voorkeur aan tools die gemarkeerde zinnen en waarschijnlijkheden weergeven. Wanneer je de zinnen achter het cijfer kunt zien, kun je vergelijken wat de tools daadwerkelijk hebben gemarkeerd in plaats van de labels die ze eraan hebben toegekend.

Modelupdates laten hiaten achter

AI-schrijftools veranderen voortdurend, en detectietools lopen achter. Een uitlegartikel uit 2026 van Centric DXB beschrijft het probleem als een verschuiving in de verdeling: een classificator die is getraind op oudere modellen verliest aan nauwkeurigheid wanneer er nieuwere modellen verschijnen, totdat hij opnieuw wordt getraind. Een controleprogramma dat vorige maand is bijgewerkt en een dat vorig jaar is bijgewerkt, kunnen hetzelfde essay heel verschillend behandelen. Dit betekent niet dat oudere controleprogramma’s nutteloos zijn. Het betekent wel dat je de recente update-informatie van een tool moet controleren, net zoals je de releasedatum van een app zou controleren, en dat je het ontbreken daarvan moet zien als een reden voor extra voorzichtigheid.

Ook de dekking speelt een rol. Op de pagina van Phrasly worden ChatGPT, Claude, Gemini, Perplexity, DeepSeek en Grok genoemd als modellen waarop de tool zich richt, en ondersteunt de tool Engels, Spaans, Frans en Duits. Een tool met een beperktere dekking kan patronen missen die een andere tool wel oppikt, of tekst van mensen markeren die hij simpelweg niet begrijpt.

Hetzelfde essay, anders gelezen

Daarnaast is er ook de menselijke kant van de tekst. Een onderzoek uit 2023 onder leiding van onderzoekers van Stanford testte zeven veelgebruikte detectoren op 91 TOEFL-essays van niet-moedertaalsprekers van het Engels, en gemiddeld 61,3 procent werd ten onrechte aangemerkt als door AI gegenereerd (Liang et al., Patterns, 2023). Eenvoudige, zorgvuldige en voorspelbare formuleringen worden door een op perplexiteit gebaseerde tool als machinaal beschouwd.

Als je essay in een tweede taal is geschreven, in een sterk gestructureerde academische stijl of volgens een standaardsjabloon, kun je hogere scores en meer meningsverschillen tussen de tools verwachten. Die meningsverschillen zijn niet willekeurig. Ze weerspiegelen hoe gevoelig elke detector reageert op een schrijfstijl die gebruikelijk is bij oprechte schrijvers. Ook het onderwerp speelt een rol. Technische teksten, met hun vaste termen en herhaalde structuren, bieden een detector minder variatie om mee te werken dan een persoonlijke reflectie.

Een verstandige manier om resultaten te vergelijken

Wanneer twee tools het oneens zijn, weersta dan de verleiding om te blijven plakken totdat je een cijfer krijgt dat je bevalt. Gebruik in plaats daarvan een plan. Vergeet de lengte niet. Plak elke keer hetzelfde volledige essay, want een controleprogramma dat alleen je inleiding krijgt, lost een ander probleem op dan een dat tien pagina’s krijgt.

• Controleer dezelfde volledige tekst, zonder bewerkingen tussen de scans door.

• Let op hoe elke tool zijn score bepaalt.

• Vergelijk gemarkeerde zinnen in plaats van de kopcijfers.

• Markeer elke zin die door beide tools is gemarkeerd, want die overlap is de meest bruikbare aanwijzing.

• Herschrijf die regels met iets specifieks en origineels, en voer de scan vervolgens opnieuw uit.

Kies één AI-controleprogramma als uitgangspunt en gebruik dit consequent, zodat veranderingen in de score wijzen op veranderingen in je schrijfstijl in plaats van op veranderingen in het programma. Consistentie geeft je een trend waar je van kunt leren, terwijl het wisselen tussen programma’s je alleen maar ruis oplevert. Houd een kort logboek bij als je dit vaak doet: datum, programma, score en welke zinnen werden gemarkeerd. Na een paar essays zul je weten hoe elk programma zich doorgaans gedraagt ten opzichte van jouw schrijfstijl, wat meer waard is dan welke losse beoordeling dan ook.

Wanneer onenigheid de informatie is

Hier is een punt dat veel mensen over het hoofd zien. Als twee gerenommeerde tools het sterk oneens zijn over je tekst, is dat een teken van ambiguïteit. De tekst bevindt zich in een grijs gebied waar software geen uitsluitsel over kan geven, en geen van beide cijfers verdient het om als bewijs te worden beschouwd. In 2023 trok OpenAI zijn eigen AI Text Classifier terug na melding van een true-positive-percentage van 26 procent en een false-positive-percentage van 9 procent (OpenAI, 2023), wat ons eraan herinnert dat zelfs teams met ruime middelen moeite hebben om een duidelijke grens te trekken.

De juiste reactie op een verdeeld oordeel is dus om te vertrouwen op je eigen werkwijze. Bewaar concepten, schetsen en aantekeningen, en wees bereid om je betoog in je eigen woorden uit te leggen. Als een docent of redacteur naar een score vraagt, spreken die aantekeningen boekdelen, meer dan welke enkele scan dan ook. Als je toch een cijfer aan iemand moet doorgeven, geef dan het bereik aan en noem de tools.

Overeenstemming is zeldzaam, en dat is goed om te weten

Verschillende tools, die op verschillende manieren zijn getraind, voor verschillende modellen zijn gebouwd en iets andere zaken meten, zullen zelden overeenkomende scores opleveren. Als je dat weet, hoef je niet langer achter één enkel ‘juist’ cijfer aan te jagen en kun je iets beters gaan doen: de opvallende punten doornemen, algemene zinnen aanscherpen en bijhouden hoe je hebt geschreven. Een verschil tussen twee controleprogramma’s is geen crisis. Het is een aanleiding om beter te kijken.

Als je meer wilt weten over hoe detectiescores tot stand komen en waar ze tekortschieten, kun je op de Phrasly-blog verdere artikelen lezen die dieper op deze vragen ingaan.