Prečo programy na kontrolu umelej inteligencie udeľujú rovnakému eseju odlišné hodnotenia

Úvod

Dve karty prehliadača, jedna esej a dve veľmi odlišné odpovede. Prvý kontrolný nástroj uvádza 8 percent. Druhý uvádza 61. V texte sa medzi vložením textu do oboch nástrojov nič nezmenilo, neupravili ste ani jedno slovo a teraz si nie ste istí, ktorej obrazovke máte veriť.

Žiadny z nich neklame. Na otázku odpovedajú odlišne a pochopenie toho, prečo tomu tak je, vám pomôže prekonať paniku. Tento článok vysvetľuje, odkiaľ pochádza tento rozdiel, ako rozumne porovnávať výsledky a čo vám tento nesúlad v skutočnosti hovorí.

Odlišné trénovanie, odlišné inštinkty

Každý kontrolór je postavený na vlastnom recepte. Niektoré sa spoliehajú na „perplexity“ – mieru toho, nakoľko je vaše formulovanie predvídateľné pre jazykový model. Iné zohľadňujú „burstiness“ – rozmanitosť dĺžky a štruktúry viet. Mnohé kombinujú tieto faktory s klasifikátormi trénovanými na označených príkladoch ľudského a strojového textu, a to, čo tieto príklady obsahujú, formuje všetko, čo nástroj neskôr zaznamená.

Na stránke detektora Phrasly sa uvádza, že jeho trénovanie čerpá z viac ako 1 milióna skutočných ľudských článkov – toto tvrdenie poskytovateľa stojí za pozornosť, pretože ilustruje kľúčovú myšlienku: nástroj trénovaný prevažne na spravodajských článkoch bude hodnotiť akademickú esej inak ako ten, ktorý bol trénovaný na študentských prácach. Dva kontrolné nástroje môžu prečítať tú istú vetu a dospieť k odlišným záverom, pretože sa učili z rôznych knižníc textov.

Význam percentuálnej hodnoty závisí od nástroja

Ani hlavné číslo nie je štandardné. Jeden kontrolný nástroj uvádza pravdepodobnosť, že celý text je napísaný strojovo. Iný uvádza podiel viet, o ktorých sa domnieva, že sú napísané strojovo. Tretí vypočíta priemerné skóre viet. Všetky zobrazujú percento, ale nemerajú to isté. Lišia sa aj prahové hodnoty. Jeden nástroj môže označiť čokoľvek nad 50 percent ako pravdepodobne napísané strojovo, zatiaľ čo iný čaká až do 80 percent, takže identický surový výstup môže viesť k opačným označeniam.

Preto nie je možné priamo porovnávať samotné čísla z dvoch zdrojov. Pozrite sa, ako každý nástroj popisuje svoje skóre, a uprednostňujte tie, ktoré zobrazujú zvýraznené vety a pravdepodobnosti. Keď vidíte vety, ktoré sa za číslom skrývajú, môžete porovnať to, čo nástroje skutočne označili, a nie len označenia, ktoré k nim priradili.

Aktualizácie modelov zanechávajú medzery

Nástroje na písanie s využitím umelej inteligencie sa neustále menia a detekčné nástroje zaostávajú. Jeden vysvetľujúci článok z roku 2026 od Centric DXB opisuje tento problém ako posun distribúcie: klasifikátor vytrénovaný na starších modeloch stráca presnosť, keď sa objavia novšie modely, a to dovtedy, kým nie je pretrénovaný. Kontrola aktualizovaná minulý mesiac a kontrola aktualizovaná minulý rok môžu s rovnakou esejou narábať veľmi odlišne. To však neznamená, že staršie kontroly sú nepoužiteľné. Znamená to, že by ste si mali skontrolovať poznámky k najnovšej aktualizácii nástroja rovnako, ako by ste si skontrolovali dátum vydania aplikácie, a mlčanie považovať za dôvod na zvýšenú opatrnosť.

Dôležitým faktorom je aj rozsah pokrytia. Stránka Phrasly uvádza medzi modelmi, na ktoré sa zameriava, ChatGPT, Claude, Gemini, Perplexity, DeepSeek a Grok, a podporuje angličtinu, španielčinu, francúzštinu a nemčinu. Nástroj s užším rozsahom pokrytia môže prehliadnuť vzory, ktoré iný nástroj zachytí, alebo označiť text napísaný človekom, ktorému jednoducho nerozumie.

Ten istý esej, čítaný inak

Existuje aj ľudská stránka textu. Štúdia z roku 2023 pod vedením výskumníkov zo Stanfordu otestovala sedem široko používaných detektorov na 91 esejách TOEFL od autorov, pre ktorých angličtina nie je materinským jazykom, a v priemere 61,3 percenta z nich bolo nesprávne označených ako generované umelou inteligenciou (Liang et al., Patterns, 2023). Jednoduché, opatrné a predvídateľné formulácie sú tým, čo nástroj založený na perplexity považuje za strojové.

Ak je vaša esej napísaná v cudzom jazyku, vo veľmi štruktúrovanom akademickom štýle alebo podľa štandardnej šablóny, očakávajte vyššie skóre a väčšie nezhody medzi nástrojmi. Tieto nezhody nie sú náhodné. Odrážajú citlivosť jednotlivých kontrolných nástrojov na štýl písania, ktorý je bežný u poctivých autorov. Dôležitú úlohu zohráva aj tematika. Technické texty s ich pevne stanovenými termínmi a opakujúcimi sa štruktúrami poskytujú detektoru menej variácií na analýzu než osobné úvahy.

Rozumný spôsob porovnávania výsledkov

Keď sa dva nástroje nezhodujú, odolajte pokušeniu neustále vkladať text, kým nedosiahnete číslo, ktoré sa vám páči. Namiesto toho postupujte podľa plánu. Nezabúdajte na dĺžku textu. Vždy vkladajte ten istý kompletný esej, pretože kontrolný nástroj, ktorému poskytnete len úvod, rieši iný problém ako ten, ktorému poskytnete desať strán.

• Skontrolujte ten istý plný text bez akýchkoľvek úprav medzi kontrolami.

• Všimnite si, ako každý nástroj definuje svoje skóre.

• Porovnávajte zvýraznené vety namiesto hlavných číselných údajov.

• Označte každú vetu, ktorú označili obidva nástroje, pretože práve tento prekrývajúci sa výsledok je najužitočnejším vodítkom.

• Preformulujte tieto riadky niečím konkrétnym a originálnym a potom sken spustite znova.

Vyberte si jeden AI kontrolór ako základ a používajte ho konzistentne, aby zmeny v skóre odzrkadľovali zmeny vo vašom písaní, a nie zmeny v nástroji. Konzistentnosť vám poskytuje trend, z ktorého sa môžete poučiť, zatiaľ čo prechádzanie medzi nástrojmi vám prináša rušivé signály. Ak to robíte často, vedie si malý záznam: dátum, nástroj, skóre a ktoré vety sa zvýraznili. Po niekoľkých esejách zistíte, ako sa každý nástroj spravidla správa voči vášmu štýlu, čo má väčšiu hodnotu než akékoľvek jednorazové prečítanie.

Keď je nezhoda sama o sebe informáciou

Tu je bod, ktorý mnohým ľuďom uniká. Ak sa dva renomované nástroje vo vašom texte výrazne nezhodujú, je to dôkaz nejednoznačnosti. Text sa nachádza v šedej zóne, ktorú softvér nedokáže vyriešiť, a ani jedno z čísel si nezaslúži, aby sa s ním zaobchádzalo ako s dôkazom. V roku 2023 spoločnosť OpenAI stiahla svoj vlastný nástroj AI Text Classifier po tom, čo uviedla 26-percentnú mieru pravdivých pozitív a 9-percentnú mieru falošných pozitív (OpenAI, 2023), čo pripomína, že aj tímy s dostatočnými zdrojmi majú ťažkosti s vyznačením jasnej hranice.

Správnou reakciou na rozdielne výsledky je teda spoľahnúť sa na váš vlastný proces. Uchovávajte si náčrty, osnovy a poznámky a buďte pripravení vysvetliť svoje tvrdenia vlastnými slovami. Ak sa vás lektor alebo redaktor opýta na výsledok, tieto záznamy hovoria viac než akýkoľvek jednotlivý sken. Ak musíte niekomu nahlásiť číslo, uveďte rozsah a názvy nástrojov.

Zhoda je vzácna a je užitočné to vedieť

Rôzne nástroje, ktoré sú trénované odlišne, vytvorené pre rôzne modely a merajú mierne odlišné veci, zriedka vyprodukujú zhodné skóre. Vedomie tejto skutočnosti vám umožní prestať naháňať sa za jediným správnym číslom a začať robiť niečo lepšie: čítať zvýraznené časti, vylepšovať akúkoľvek všeobecnú vetu a viesť záznam o tom, ako ste text napísali. Rozdiel medzi dvoma kontrolnými nástrojmi nie je kríza. Je to podnet na to, aby ste sa na text pozreli podrobnejšie.

Ak by ste chceli lepšie pochopiť, ako sa vytvárajú skóre detekcie a kde majú svoje nedostatky, ďalšie články na blogu Phrasly sa týmito otázkami zaoberajú podrobnejšie.