Miért adnak az AI-korrektorok eltérő pontszámokat ugyanarra az esszére?

Bevezető

Két böngészőfület, egy esszét és két nagyon különböző eredményt. Az első ellenőrző program 8 százalékot jelez. A második 61-et. A szövegben semmi sem változott a beillesztések között, egyetlen szót sem szerkesztettél, és most nem tudod, melyik képernyőt higgy el.

Egyik sem hazudik. Csak másképp válaszolnak a kérdésre, és ha megérted, miért, elmúlik a pánik. Ez a cikk elmagyarázza, honnan származik az eltérés, hogyan lehet értelmesen összehasonlítani az eredményeket, és mit is árul el valójában ez az eltérés.

Különböző képzés, különböző ösztönök

Minden ellenőrző eszköz a saját receptje alapján készül. Egyesek a „perplexity”-re támaszkodnak, ami azt méri, mennyire kiszámítható a megfogalmazásod egy nyelvi modell számára. Mások a „burstiness”-t, azaz a mondatok hosszának és szerkezetének változatosságát veszik figyelembe. Sokan ezeket kombinálják olyan osztályozókkal, amelyeket emberi és gépi szövegek címkézett példáira tanítottak be, és ezeknek a példáknak a tartalma határozza meg mindazt, amit az eszköz később észlel.

A Phrasly detektoroldala szerint a képzés több mint 1 millió valódi, ember által írt cikkre épül – ez a gyártói állítás azért érdemes tudni, mert jól illusztrálja a lényeget: egy főként hírcikkeken képzett eszköz másképp fogja értékelni egy tudományos esszét, mint egy diákok írásain képzett eszköz. Két ellenőrző program ugyanazt a mondatot olvasva is eltérő következtetésekre juthat, mert különböző írási adatbázisokból tanultak.

Hogy mit jelent a százalékos érték, az az eszköztől függ

Még a főszám sem szabványos. Az egyik ellenőrző eszköz azt a valószínűséget jelzi, hogy az egész szöveg géppel íródott-e. Egy másik a géppel írtnak tartott mondatok arányát jelzi. Egy harmadik pedig a mondatok pontszámaiból átlagot számol. Mindegyik százalékos értéket jelenít meg, de nem ugyanazt mérik. A küszöbértékek is eltérőek. Az egyik eszköz 50 százalék felett már géppel írtnak minősíthet bármit, míg egy másik 80-ig vár, így azonos nyers eredmények ellentétes címkéket kaphatnak.

Éppen ezért két forrásból származó puszta számot nem lehet közvetlenül összehasonlítani. Figyeljünk arra, hogy az egyes eszközök hogyan írják le az eredményüket, és inkább azokat válasszuk, amelyek kiemelik a mondatokat és feltüntetik a valószínűségeket. Ha láthatjuk a szám mögött álló mondatokat, akkor összehasonlíthatjuk, hogy az eszközök valójában mit jelöltek meg, ahelyett, hogy csak a hozzájuk rendelt címkéket vennénk figyelembe.

A modellfrissítések rést hagynak

Az AI-alapú írási eszközök folyamatosan változnak, a detektorok pedig lemaradnak. A Centric DXB egyik, 2026-os magyarázó cikke ezt a problémát eloszláseltolódásként írja le: a régebbi modelleken betanított osztályozó elveszíti pontosságát, amikor újabb modellek jelennek meg, egészen addig, amíg újra nem tanítják be. Egy múlt hónapban frissített ellenőrző eszköz és egy tavaly frissített eszköz nagyon eltérő módon kezelheti ugyanazt az esszét. Ez nem jelenti azt, hogy a régebbi ellenőrző eszközök használhatatlanok lennének. Azt jelenti, hogy úgy kell ellenőriznie az eszköz legfrissebb frissítési megjegyzéseit, ahogyan egy alkalmazás kiadásának dátumát is ellenőrizné, és a hallgatást okként kell tekintenie a fokozott óvatosságra.

A lefedettség is fontos tényező. A Phrasly oldala a ChatGPT-t, a Claude-ot, a Gemini-t, a Perplexity-t, a DeepSeek-et és a Grok-ot nevezi meg a célzott modellek között, és támogatja az angol, a spanyol, a francia és a német nyelvet. Egy szűkebb lefedettségű eszköz elmulaszthat olyan mintákat, amelyeket egy másik felismer, vagy olyan emberi szövegeket jelölhet meg, amelyeket egyszerűen nem ért.

Ugyanaz az esszé, másképp olvasva

A szövegnek van egy emberi oldala is. Egy 2023-as, a Stanford kutatói által vezetett tanulmány hét széles körben használt detektort tesztelt 91, nem anyanyelvi angol beszélők által írt TOEFL-esszén, és átlagosan 61,3 százalékukat tévesen AI-generáltként jelölték meg (Liang et al., Patterns, 2023). Az egyszerű, óvatos, kiszámítható megfogalmazást tekinti a perplexitás-alapú eszköz gépszerűnek.

Ha az esszédet második nyelven írtad, erősen strukturált tudományos stílusban vagy egy szabványos sablon alapján, akkor magasabb pontszámokra és nagyobb eltérésekre számíthatsz az eszközök között. Ez az eltérés nem véletlenszerű. Azt tükrözi, hogy az egyes ellenőrző eszközök mennyire érzékenyek az őszinte írók körében elterjedt írásstílusra. A téma is szerepet játszik. A szakirodalom, rögzített kifejezéseivel és ismétlődő szerkezeteivel, kevesebb variációt kínál a detektor számára, mint egy személyes reflexió.

Az eredmények összehasonlításának ésszerű módja

Ha két eszköz nem ért egyet, állj ellen a kísértésnek, hogy addig illeszd be az esszédet, amíg tetsző pontszámot nem kapsz. Inkább kövesd egy tervet. Ne hagyd figyelmen kívül a hosszúságot. Minden alkalommal illeszd be ugyanazt a teljes esszét, mert egy ellenőrző, amely csak a bevezetésedet kapja meg, más feladatot old meg, mint az, amely tíz oldalt kap.

• Ellenőrizd ugyanazt a teljes szöveget, a szkennelések között semmilyen szerkesztés nélkül.

• Figyeld meg, hogy az egyes eszközök hogyan határozzák meg a pontszámukat.

• Inkább a kiemelt mondatokat hasonlítsd össze, ne pedig a főbb számadatokat.

• Jelöld meg azokat a mondatokat, amelyeket mindkét eszköz kiemelt, mivel ez az átfedés a leghasznosabb nyom.

• Írja át ezeket a sorokat valami konkrét és eredeti szöveggel, majd futtassa újra az ellenőrzést.

Válassz ki egy AI-ellenőrzőt alapként, és használd következetesen, így a pontszám változásai az írásodban bekövetkezett változásokat tükrözik, nem pedig az eszköz változásait. A következetesség olyan tendenciát mutat, amelyből tanulhatsz, míg az eszközök közötti váltogatás csak zavaró tényezőt jelent. Ha gyakran csinálod ezt, vezess egy rövid naplót: dátum, eszköz, pontszám és mely mondatok jelölődtek ki. Néhány esszé után meg fogod ismerni, hogy az egyes eszközök hogyan viselkednek a stílusoddal kapcsolatban, ami többet ér, mint bármelyik egyedi olvasás.

Amikor az eltérés maga az információ

Van egy szempont, amit sokan figyelmen kívül hagynak. Ha két elismert eszköz élesen eltérő véleményt ad a szövegedről, az a kétértelműség jele. Az írás olyan szürke zónában helyezkedik el, amelyet a szoftver nem tud eldönteni, és egyik pontszám sem érdemli meg, hogy bizonyítékként kezeljék. 2023-ban az OpenAI visszavonta saját AI Text Classifier nevű eszközét, miután 26 százalékos igaz-pozitív arányt és 9 százalékos hamis-pozitív arányt jelentett (OpenAI, 2023) – ez arra emlékeztet, hogy még a jól felszerelt csapatoknak is nehézséget jelent egy határozott határvonal meghúzása.

Tehát a megosztott véleményre a helyes válasz az, ha a saját munkamódszeredre támaszkodsz. Őrizd meg a vázlatokat, a vázlatokat és a jegyzeteket, és légy készen arra, hogy saját szavaiddal magyarázd el az érvelésedet. Ha egy oktató vagy szerkesztő a pontszámról kérdez, ezek a feljegyzések többet mondanak, mint bármelyik egyedi vizsgálat. Ha valakinek számot kell közölnöd, add meg a tartományt, és nevezd meg az eszközöket.

A konszenzus ritka, és ezt jó tudni

A különböző eszközök – amelyek eltérő módon lettek betanítva, különböző modellekhez készültek, és kissé eltérő dolgokat mérnek – ritkán adnak egyező pontszámokat. Ha ezt tudod, nem kell tovább egyetlen „helyes” szám után hajszolnod, hanem valami jobbat tehetsz: elolvashatod a kiemelt részeket, javíthatod az általános mondatokat, és nyilvántartást vezethetsz arról, hogyan írtad a szöveget. A két ellenőrzőprogram közötti eltérés nem válság. Hanem arra ösztönöz, hogy alaposabban nézd meg a szöveget.

Ha többet szeretnél megtudni arról, hogyan jönnek létre a felismerési pontszámok és hol vannak hiányosságaik, a Phrasly blogon található további cikkek ezeket a kérdéseket mélyebben tárgyalják.