Varför ger AI-granskare olika betyg för samma uppsats?

Inledning

Två webbläsarflikar, en uppsats och två väldigt olika svar. Den första kontrollen visar 8 procent. Den andra visar 61. Ingenting i texten har ändrats mellan klistringarna, du har inte redigerat ett enda ord, och nu är du osäker på vilken skärm du ska tro på.

Ingen av dem ljuger. De besvarar frågan på olika sätt, och när du förstår varför försvinner paniken. Den här artikeln förklarar var skillnaden kommer ifrån, hur du jämför resultaten på ett förnuftigt sätt och vad en avvikelse egentligen säger dig.

Olika träning, olika instinkter

Varje kontrollverktyg är uppbyggt enligt sitt eget recept. Vissa förlitar sig på ”perplexity”, ett mått på hur förutsägbar din formulering är för en språkmodell. Andra väger in ”burstiness”, variationen i meningslängd och struktur. Många kombinerar dessa med klassificerare som tränats på märkta exempel av mänsklig och maskinskriven text, och vad dessa exempel innehåller formar allt som verktyget sedan lägger märke till.

På Phraslys detektorsida står det att deras träning bygger på över 1 miljon riktiga artiklar skrivna av människor – ett påstående från leverantören som är värt att känna till eftersom det illustrerar poängen: ett verktyg som huvudsakligen tränats på nyhetsartiklar kommer att bedöma en akademisk uppsats annorlunda än ett verktyg som tränats på studenttexter. Två kontrollverktyg kan läsa samma mening och komma fram till olika slutsatser eftersom de lärt sig från olika textbibliotek.

Vad procenttalet betyder beror på verktyget

Inte ens siffran i rubriken är standardiserad. Ett kontrollverktyg anger sannolikheten för att hela texten är maskinskriven. Ett annat anger andelen meningar som det anser vara maskinskrivna. Ett tredje beräknar ett genomsnitt av meningsbetygen. Alla visar en procentandel, men de mäter inte samma sak. Tröskelvärdena skiljer sig också åt. Ett verktyg kan betrakta allt över 50 procent som sannolikt maskinskrivet, medan ett annat väntar tills siffran når 80, vilket innebär att identiska rådata kan resultera i motsatta klassificeringar.

Därför kan man inte jämföra rena siffror från två källor direkt. Titta på hur varje verktyg beskriver sitt resultat och välj helst sådana som visar markerade meningar och sannolikheter. När du kan se meningarna bakom siffran kan du jämföra vad verktygen faktiskt flaggade istället för de etiketter de satte på dem.

Modelluppdateringar lämnar luckor

AI-skrivverktyg förändras ständigt, och detekteringsverktygen hänger efter. En förklaring från Centric DXB från 2026 beskriver problemet som en förskjutning i fördelningen: en klassificerare som tränats på äldre modeller tappar precision när nyare modeller kommer, tills den tränas om. Ett kontrollverktyg som uppdaterades förra månaden och ett som uppdaterades förra året kan hantera samma uppsats på helt olika sätt. Inget av detta gör äldre kontrollverktyg värdelösa. Det innebär att du bör kontrollera ett verktygs senaste uppdateringsinformation på samma sätt som du skulle kontrollera en apps släppdatum, och betrakta tystnad som en anledning till extra försiktighet.

Täckning är också en faktor. På Phraslys sida nämns ChatGPT, Claude, Gemini, Perplexity, DeepSeek och Grok bland de modeller som verktyget riktar sig mot, och det stöder engelska, spanska, franska och tyska. Ett verktyg med smalare täckning kan missa mönster som ett annat verktyg upptäcker, eller markera mänskligt skrivande som det helt enkelt inte förstår.

Samma uppsats, läst på olika sätt

Det finns också den mänskliga sidan av texten. En studie från 2023 ledd av forskare vid Stanford testade sju vanliga detektorer på 91 TOEFL-uppsatser skrivna av personer som inte har engelska som modersmål, och i genomsnitt 61,3 procent felaktigt klassificerades som AI-genererade (Liang et al., Patterns, 2023). Enkelt, noggrant och förutsägbart språk är vad ett perplexitetsbaserat verktyg tolkar som maskinlikt.

Om din uppsats är skriven på ett andraspråk, i en starkt strukturerad akademisk stil eller utifrån en standardmall, kan du förvänta dig högre poäng och större oenighet mellan verktygen. Oenigheten är inte slumpmässig. Den speglar hur känslig varje kontrollverktyg är för en skrivstil som är vanlig bland ärliga författare. Ämnet spelar också in. Tekniskt skrivande, med sina fasta termer och upprepade strukturer, ger en detektor mindre variation att arbeta med än en personlig reflektion gör.

Ett förnuftigt sätt att jämföra resultat

När två verktyg är oeniga, motstå frestelsen att fortsätta klistra in texten tills du får ett betyg du gillar. Använd istället en plan. Bortse inte från längden. Klistra in samma fullständiga uppsats varje gång, eftersom ett kontrollverktyg som endast får din inledning löser ett annat problem än ett som får tio sidor.

• Kontrollera samma fulltext, utan redigeringar mellan genomsökningarna.

• Lägg märke till hur varje verktyg definierar sitt betyg.

• Jämför de markerade meningarna snarare än de övergripande siffrorna.

• Markera alla meningar som båda verktygen flaggar, eftersom den överlappningen är den mest användbara ledtråden.

• Skriv om dessa rader med något specifikt och originellt, och kör sedan igen.

Välj en AI-kontroll som din utgångspunkt och använd den konsekvent, så att förändringar i poängen speglar förändringar i ditt skrivande istället för förändringar i verktyget. Konsekvens ger dig en trend du kan lära dig av, medan det blir bara brus om du hoppar mellan verktyg. För en liten logg om du gör detta ofta: datum, verktyg, poäng och vilka meningar som markerades. Efter några uppsatser kommer du att veta hur varje verktyg brukar reagera på din stil, vilket är värdefullare än någon enskild läsning.

När oenigheten är informationen

Här är en punkt som många missar. Om två ansedda verktyg är starkt oeniga om din text är det ett tecken på tvetydighet. Texten befinner sig i en gråzon som programvaran inte kan avgöra, och inget av siffrorna förtjänar att behandlas som bevis. År 2023 drog OpenAI tillbaka sin egen AI Text Classifier efter att ha rapporterat en sann-positiv andel på 26 procent och en falsk-positiv andel på 9 procent (OpenAI, 2023), vilket påminner om att även resursstarka team har svårt att dra en tydlig gräns.

Det rätta sättet att hantera ett delat utlåtande är därför att lita på din egen process. Spara utkast, dispositioner och anteckningar, och var beredd att förklara ditt resonemang med egna ord. Om en lärare eller redaktör frågar om ett resultat talar dessa underlag tydligare än någon enskild analys. Om du måste rapportera ett siffra till någon, ange intervallet och nämn verktygen.

Överensstämmelse är sällsynt, och det är bra att veta

Olika verktyg, som är tränade på olika sätt, byggda för olika modeller och som mäter något olika saker, kommer sällan att ge överensstämmande poäng. Att veta detta gör att du kan sluta jaga ett enda korrekt tal och börja göra något bättre: läsa igenom de markerade delarna, stärka eventuella generiska meningar och föra anteckningar om hur du skrev. En skillnad mellan två kontrollverktyg är ingen kris. Det är en uppmaning att titta närmare.

Om du vill förstå mer om hur detekteringspoängen beräknas och var de har sina brister, finns det ytterligare läsning på Phraslys blogg som utforskar dessa frågor mer ingående.