Hvorfor giver AI-korrekturprogrammer forskellige karakterer for den samme stil?

Indledning

To browserfaner, én opgave og to meget forskellige svar. Den første plagiatkontrol siger 8 procent. Den anden siger 61. Der er ikke ændret noget i teksten mellem indsættelserne, du har ikke redigeret et eneste ord, og nu er du ikke sikker på, hvilken skærm du skal tro på.

Ingen af dem lyver. De besvarer spørgsmålet forskelligt, og når du forstår hvorfor, forsvinder panikken i øjeblikket. Denne artikel forklarer, hvor forskellen stammer fra, hvordan du sammenligner resultaterne på en fornuftig måde, og hvad en uoverensstemmelse egentlig fortæller dig.

Forskellig træning, forskellige instinkter

Hvert kontrolværktøj er bygget efter sin egen opskrift. Nogle baserer sig på »perplexity«, et mål for, hvor forudsigelig din formulering er for en sprogmodel. Andre vægter »burstiness«, altså variationen i sætningslængde og -struktur. Mange kombinerer disse med klassifikatorer, der er trænet på mærkede eksempler af menneskeskrevet og maskinskrevet tekst, og indholdet af disse eksempler former alt, hvad værktøjet efterfølgende lægger mærke til.

Phraslys detektorside angiver, at dets træning bygger på over 1 million ægte menneskeskrevne artikler – en leverandørpåstand, der er værd at kende til, fordi den illustrerer pointen: Et værktøj, der hovedsageligt er trænet på nyhedsartikler, vil bedømme en akademisk opgave anderledes end et, der er trænet på studerendes tekster. To tjekkere kan læse den samme sætning og nå frem til forskellige konklusioner, fordi de har lært af forskellige tekstsamlinger.

Hvad procentdelen betyder, afhænger af værktøjet

Selv det fremhævede tal er ikke standardiseret. Et kontrolværktøj angiver sandsynligheden for, at hele teksten er maskinskrevet. Et andet angiver andelen af sætninger, som det mener er maskinskrevne. Et tredje beregner et gennemsnit af sætningsscorerne. De viser alle en procentdel, men de måler ikke det samme. Tærskelværdierne varierer også. Et værktøj kan betegne alt over 50 procent som sandsynligvis maskinskrevet, mens et andet venter til 80 procent, så identiske rå resultater kan få modsatte mærkninger.

Derfor kan et rent tal fra to kilder ikke sammenlignes direkte. Se på, hvordan hvert værktøj beskriver sin score, og foretræk dem, der viser fremhævede sætninger og sandsynligheder. Når du kan se de sætninger, der ligger bag tallet, kan du sammenligne, hvad værktøjerne rent faktisk har markeret, i stedet for de mærkninger, de har tildelt.

Modelopdateringer efterlader huller

AI-skriveværktøjer ændrer sig konstant, og detektorerne halter bagefter. En forklaring fra Centric DXB fra 2026 beskriver problemet som en fordelingsforskydning: en klassifikator, der er trænet på ældre modeller, mister nøjagtighed, når nyere modeller kommer, indtil den bliver genoptrænet. Et kontrolværktøj, der blev opdateret i sidste måned, og et, der blev opdateret sidste år, kan håndtere den samme tekst på meget forskellig vis. Intet af dette gør ældre kontrolværktøjer ubrugelige. Det betyder, at du bør tjekke et værktøjs seneste opdateringsnoter på samme måde, som du ville tjekke en apps udgivelsesdato, og betragte manglende opdateringer som en grund til ekstra forsigtighed.

Dækningen er også en faktor. Phraslys side nævner ChatGPT, Claude, Gemini, Perplexity, DeepSeek og Grok blandt de modeller, den er rettet mod, og understøtter engelsk, spansk, fransk og tysk. Et værktøj med en snævrere dækning kan overse mønstre, som et andet opfanger, eller markere menneskelig skrivning, som det simpelthen ikke forstår.

Den samme tekst, læst på forskellige måder

Der er også den menneskelige side af teksten. En undersøgelse fra 2023 ledet af forskere fra Stanford testede syv udbredte detektorer på 91 TOEFL-essays skrevet af ikke-indfødte engelsktalende, og i gennemsnit blev 61,3 procent fejlagtigt mærket som AI-genereret (Liang et al., Patterns, 2023). Enkel, omhyggelig og forudsigelig formulering er det, et perplexity-baseret værktøj betragter som maskinlignende.

Hvis dit essay er skrevet på et andetsprog, i en stærkt struktureret akademisk stil eller efter en standardskabelon, kan du forvente højere score og større uenighed blandt værktøjerne. Uenigheden er ikke tilfældig. Den afspejler, hvor følsom hver detektor er over for en skrivestil, der er almindelig blandt ærlige forfattere. Emnet spiller også en rolle. Teknisk skrivning, med sine faste termer og gentagne strukturer, giver en detektor mindre variation at arbejde med end en personlig refleksion gør.

En fornuftig måde at sammenligne resultater på

Når to værktøjer er uenige, skal du modstå fristelsen til at blive ved med at indsætte teksten, indtil du får et tal, du kan lide. Brug i stedet en plan. Overset ikke længden. Indsæt den samme fulde opgave hver gang, for et kontrolværktøj, der kun får din indledning, løser et andet problem end et, der får ti sider.

• Tjek den samme fulde tekst uden redigeringer mellem scanningerne.

• Læg mærke til, hvordan hvert værktøj definerer sin score.

• Sammenlign de fremhævede sætninger frem for de overordnede tal.

• Markér alle sætninger, der er markeret af begge værktøjer, da denne overlapning er det mest nyttige spor.

• Omskriv disse linjer med noget specifikt og originalt, og kør derefter værktøjet igen.

Vælg én AI-kontrol som din reference, og brug den konsekvent, så ændringer i scoren afspejler ændringer i din skrivning i stedet for ændringer i værktøjet. Konsekvens giver dig en tendens, du kan lære af, mens det at skifte mellem værktøjer giver dig støj. Før en lille log, hvis du gør dette ofte: dato, værktøj, score og hvilke sætninger der blev markeret. Efter et par essays vil du vide, hvordan hvert værktøj typisk reagerer på din stil, hvilket er mere værd end en enkelt gennemlæsning.

Når uenighed er informationen

Her er et punkt, som mange overser. Hvis to velrenommerede værktøjer er stærkt uenige om din tekst, er det et tegn på tvetydighed. Teksten befinder sig i en gråzone, som softwaren ikke kan afgøre, og ingen af tallene fortjener at blive behandlet som bevis. I 2023 trak OpenAI sin egen AI Text Classifier tilbage efter at have rapporteret en 26 procent true-positive rate og en 9 procent false-positive rate (OpenAI, 2023) – en påmindelse om, at selv velressourcerede teams har svært ved at trække en klar grænse.

Den rigtige reaktion på en delt vurdering er derfor at stole på din egen proces. Gem udkast, dispositioner og noter, og vær klar til at forklare din argumentation med dine egne ord. Hvis en underviser eller redaktør spørger om en score, taler disse optegnelser højere end nogen enkelt scanning. Hvis du er nødt til at oplyse et tal til nogen, skal du angive intervallet og nævne værktøjerne.

Enighed er sjælden, og det er nyttigt at vide

Forskellige værktøjer, der er trænet forskelligt, udviklet til forskellige modeller og måler lidt forskellige ting, vil sjældent give ens resultater. Når du ved det, kan du holde op med at jagte ét enkelt korrekt tal og i stedet gøre noget bedre: læse de fremhævede passager, styrke generiske sætninger og føre en oversigt over, hvordan du skrev. En forskel mellem to kontrolværktøjer er ikke en krise. Det er en opfordring til at se nærmere på teksten.

Hvis du gerne vil forstå mere om, hvordan detektionsscorerne beregnes, og hvor de har deres begrænsninger, kan du læse mere om disse spørgsmål på Phraslys blog, hvor emnet uddybes.