Hvorfor gir AI-korrekturprogrammer forskjellige karakterer for den samme oppgaven

Innledning

To nettleserfaner, én oppgave og to svært forskjellige svar. Den første sjekkeren sier 8 prosent. Den andre sier 61. Ingenting i teksten har endret seg mellom innlimingene, du har ikke redigert et eneste ord, og nå er du usikker på hvilken skjerm du skal tro på.

Ingen av dem lyver. De svarer forskjellig på spørsmålet, og når du forstår hvorfor, forsvinner panikken. Denne artikkelen forklarer hvor forskjellen kommer fra, hvordan du kan sammenligne resultatene på en fornuftig måte og hva en uoverensstemmelse egentlig forteller deg.

Ulik opplæring, ulike instinkter

Hver sjekker er bygget etter sin egen oppskrift. Noen baserer seg på «perplexity», et mål på hvor forutsigbar formuleringen din er for en språkmodell. Andre vektlegger «burstiness», variasjonen i setningslengde og struktur. Mange kombinerer disse med klassifikatorer som er trent på merkede eksempler av menneskelig og maskinell tekst, og innholdet i disse eksemplene former alt verktøyet legger merke til senere.

På Phraslys detektorside står det at opplæringen deres bygger på over 1 million ekte artikler skrevet av mennesker – en påstand fra leverandøren som er verdt å merke seg, fordi den illustrerer poenget: Et verktøy som hovedsakelig er trent på nyhetsartikler, vil bedømme en akademisk oppgave annerledes enn et verktøy som er trent på studenttekster. To sjekkere kan lese den samme setningen og komme til forskjellige konklusjoner fordi de har lært fra forskjellige tekstsamlinger.

Hva prosentandelen betyr, avhenger av verktøyet

Selv hovedtallet er ikke standardisert. Én sjekker oppgir sannsynligheten for at hele teksten er maskinskrevet. En annen oppgir andelen setninger den mener er maskinskrevet. En tredje beregner gjennomsnittet av setningsscorene. Alle viser en prosentandel, men de måler ikke det samme. Terskelverdiene varierer også. Ett verktøy kan anse alt over 50 prosent som sannsynligvis maskinskrevet, mens et annet venter til 80, slik at identisk rådata kan gi motsatte merkelapper.

Derfor kan ikke et rent tall fra to kilder sammenlignes direkte. Se etter hvordan hvert verktøy beskriver poengsummen sin, og velg helst de som viser uthevede setninger og sannsynligheter. Når du kan se setningene bak tallet, kan du sammenligne hva verktøyene faktisk markerte, i stedet for merkelappene de satte på dem.

Modelloppdateringer etterlater hull

AI-skriveverktøy endrer seg stadig, og detektorene henger etter. En forklaring fra Centric DXB fra 2026 beskriver problemet som en fordelingsforskyvning: en klassifikator som er trent på eldre modeller, mister nøyaktighet når nyere modeller kommer, inntil den blir omskolert. Et sjekkverktøy som ble oppdatert forrige måned og et som ble oppdatert i fjor, kan håndtere den samme teksten på svært forskjellige måter. Ingenting av dette gjør eldre sjekkverktøy ubrukelige. Det betyr at du bør sjekke verktøyets siste oppdateringsnotater på samme måte som du sjekker utgivelsesdatoen til en app, og betrakte manglende oppdateringer som en grunn til ekstra forsiktighet.

Dekning er også en faktor. Phraslys side nevner ChatGPT, Claude, Gemini, Perplexity, DeepSeek og Grok blant modellene den retter seg mot, og støtter engelsk, spansk, fransk og tysk. Et verktøy med smalere dekning kan overse mønstre som et annet oppdager, eller markere menneskelig tekst som det rett og slett ikke forstår.

Det samme essayet, lest på forskjellige måter

Det er også den menneskelige siden av teksten. En studie fra 2023 ledet av forskere ved Stanford testet syv mye brukte detektorer på 91 TOEFL-essays skrevet av personer som ikke har engelsk som morsmål, og i gjennomsnitt ble 61,3 prosent feilaktig merket som AI-generert (Liang et al., Patterns, 2023). Enkelt, forsiktig og forutsigbart språk er det et perplexity-basert verktøy oppfatter som maskinlignende.

Hvis essayet ditt er skrevet på et andrespråk, i en sterkt strukturert akademisk stil eller etter en standardmal, kan du forvente høyere poengsummer og større uenighet mellom verktøyene. Uenigheten er ikke tilfeldig. Den gjenspeiler hvor følsom hver detektor er overfor en skrivestil som er vanlig blant ærlige forfattere. Temaet spiller også inn. Teknisk skriving, med sine faste termer og gjentatte strukturer, gir en detektor mindre variasjon å jobbe med enn en personlig refleksjon gjør.

En fornuftig måte å sammenligne resultater på

Når to verktøy er uenige, må du motstå fristelsen til å fortsette å lime inn teksten til du får et tall du liker. Bruk en plan i stedet. Ikke overse lengden. Lim inn hele essayet hver gang, for en sjekker som bare får innledningen din, løser et annet problem enn en som får ti sider.

• Sjekk den samme fullteksten, uten endringer mellom skanningene.

• Legg merke til hvordan hvert verktøy definerer sin score.

• Sammenlign de uthevede setningene i stedet for de overordnede tallene.

• Merk av alle setninger som begge verktøyene har flagget, siden denne overlappingen er det mest nyttige ledetråden.

• Skriv om disse linjene med noe konkret og originalt, og kjør deretter verktøyet på nytt.

Velg én AI-sjekker som utgangspunkt og bruk den konsekvent, slik at endringer i poengsummen gjenspeiler endringer i skrivingen din i stedet for endringer i verktøyet. Konsistens gir deg en trend du kan lære av, mens det å hoppe mellom verktøy gir deg støy. Før en liten logg hvis du gjør dette ofte: dato, verktøy, poengsum og hvilke setninger som ble markert. Etter noen få essays vil du vite hvordan hvert verktøy pleier å reagere på din stil, noe som er mer verdifullt enn en enkelt gjennomlesning.

Når uenighet er informasjonen

Her er et poeng mange overser. Hvis to anerkjente verktøy er sterkt uenige om teksten din, er det et tegn på tvetydighet. Teksten befinner seg i en gråsone som programvaren ikke kan avgjøre, og ingen av tallene fortjener å bli behandlet som bevis. I 2023 trakk OpenAI tilbake sin egen AI Text Classifier etter å ha rapportert en sann-positiv rate på 26 prosent og en falsk-positiv rate på 9 prosent (OpenAI, 2023) – en påminnelse om at selv ressurssterke team sliter med å trekke en klar grense.

Den riktige reaksjonen på et delt resultat er derfor å stole på din egen prosess. Ta vare på utkast, disposisjoner og notater, og vær klar til å forklare argumentasjonen din med dine egne ord. Hvis en lærer eller redaktør spør om en score, taler disse dokumentene høyere enn noen enkelt skanning. Hvis du må oppgi et tall til noen, oppgi intervallet og nevn verktøyene.

Enighet er sjelden, og det er nyttig å vite

Ulike verktøy, trent på forskjellige måter, utviklet for ulike modeller og som måler litt forskjellige ting, vil sjelden gi identiske poengsummer. Når du vet dette, kan du slutte å jage etter ett eneste riktig tall og begynne å gjøre noe bedre: lese gjennom de viktigste punktene, styrke generiske setninger og føre oversikt over hvordan du skrev. En avvik mellom to sjekkere er ikke en krise. Det er en oppfordring til å se nærmere etter.

Hvis du vil forstå mer om hvordan deteksjonsresultatene beregnes og hvor de har sine begrensninger, kan du lese mer om disse spørsmålene på Phrasly-bloggen.