Zakaj programi za preverjanje z umetno inteligenco istemu eseju dodeljujejo različne ocene

Uvod

Dva zavihka v brskalniku, en esej in dva zelo različna odgovora. Prvi preverjevalnik pravi 8 odstotkov. Drugi pravi 61. Med vstavljanjem se v besedilu ni nič spremenilo, niste uredili niti ene besede, zdaj pa niste prepričani, kateremu zaslonu naj verjamete.

Nobena od njiju ne laže. Na vprašanje odgovarjata različno, in če razumete zakaj, se v tem trenutku ne boste več paničarili. Ta članek pojasnjuje, od kod izvira ta razlika, kako smiselno primerjati rezultate in kaj vam nesoglasje dejansko pove.

Različno usposabljanje, različni instinkti

Vsak preverjevalnik je zgrajen po svojem receptu. Nekateri se opirajo na »perplexity«, merilo tega, kako predvidljiva je vaša besedna zveza za jezikovni model. Drugi upoštevajo »burstiness«, raznolikost v dolžini in strukturi stavkov. Mnogi to kombinirajo s klasifikatorji, usposobljenimi na označenih primerih človeškega in strojnega besedila, pri čemer vsebina teh primerov oblikuje vse, kar orodje kasneje zazna.

Na strani detektorja Phrasly piše, da je njihovo usposabljanje temeljilo na več kot 1 milijonu resničnih člankov, ki so jih napisali ljudje – to trditev ponudnika je vredno vedeti, saj ponazarja bistvo: orodje, usposobljeno predvsem na novicah, bo akademski esej ocenilo drugače kot tisto, ki je bilo usposobljeno na študentskih besedilih. Dva preverjalnika lahko prebereta isti stavek in prideta do različnih zaključkov, ker sta se učila iz različnih zbirk besedil.

Kaj pomeni odstotek, je odvisno od orodja

Celo glavna številka ni standardna. Eno orodje poroča o verjetnosti, da je celotno besedilo napisano s pomočjo računalnika. Drugo poroča o deležu stavkov, za katere meni, da so napisani s pomočjo računalnika. Tretje izračuna povprečje ocen stavkov. Vsa prikazujejo odstotek, vendar ne merijo istega. Razlikujejo se tudi pragovi. Eno orodje lahko vse, kar presega 50 odstotkov, označi kot verjetno napisano s pomočjo računalnika, medtem ko drugo počaka do 80 odstotkov, zato lahko identični surovi izhodni podatki dobijo nasprotne oznake.

Zato surove številke iz dveh virov ni mogoče neposredno primerjati. Preverite, kako vsako orodje opisuje svojo oceno, in dajte prednost tistim, ki prikazujejo označene stavke in verjetnosti. Ko vidite stavke, na katerih temelji številka, lahko primerjate, kaj so orodja dejansko označila, namesto le oznak, ki so jih dodala.

Posodobitve modelov puščajo vrzeli

Orodja za pisanje z umetno inteligenco se nenehno spreminjajo, detektorji pa zaostajajo. V enem pojasnilu iz leta 2026, ki ga je objavilo podjetje Centric DXB, je ta problem opisan kot premik porazdelitve: klasifikator, usposobljen na starejših modelih, izgubi natančnost, ko pridejo na trg novejši modeli, dokler ni ponovno usposobljen. Preverjalnik, posodobljen prejšnji mesec, in tisti, posodobljen lani, lahko isti esej obravnavata zelo različno. To še ne pomeni, da so starejši preverjalniki neuporabni. Pomeni pa, da morate preveriti opombe o nedavnih posodobitvah orodja tako, kot bi preverili datum izdaje aplikacije, in molk obravnavati kot razlog za dodatno previdnost.

Pomemben dejavnik je tudi obseg pokritosti. Stran Phrasly med modeli, na katere se osredotoča, navaja ChatGPT, Claude, Gemini, Perplexity, DeepSeek in Grok ter podpira angleščino, španščino, francoščino in nemščino. Orodje z ožjim obsegom pokritosti lahko spregleda vzorce, ki jih drugo orodje zazna, ali pa označi človeško pisanje, ki ga preprosto ne razume.

Isti esej, različno branje

Obstaja tudi človeška plat besedila. Študija iz leta 2023, ki so jo vodili raziskovalci iz Stanforda, je preizkusila sedem široko uporabljanih detektorjev na 91 esejih za TOEFL, ki so jih napisali govorci, za katere angleščina ni materni jezik, in povprečno 61,3 odstotka jih je bilo napačno označenih kot ustvarjenih z umetno inteligenco (Liang et al., Patterns, 2023). Preprosto, previdno in predvidljivo izražanje je tisto, kar orodje, ki temelji na perplexity, obravnava kot strojno.

Če je vaš esej napisan v drugem jeziku, v strogo strukturiranem akademskem slogu ali po standardni predlogi, lahko pričakujete višje ocene in večje nesoglasje med orodji. To nesoglasje ni naključno. Odraža, kako občutljiv je posamezni preveritelj na slog pisanja, ki je pogost med iskrenimi avtorji. Vlogo igra tudi vsebina. Tehnično pisanje s svojimi fiksnimi izrazi in ponavljajočimi se strukturami detektorju ponuja manj variacij za delo kot osebna refleksija.

Razumen način primerjave rezultatov

Ko se orodji ne strinjata, se uprete skušnjavi, da bi besedilo vstavljali tolikokrat, dokler ne dobite številke, ki vam je všeč. Namesto tega uporabite načrt. Ne spreglejte dolžine. Vsakič vstavite isti celoten esej, saj preverjevalnik, ki dobi le vaš uvod, rešuje drugačen problem kot tisti, ki dobi deset strani.

• Preverite isto celotno besedilo, brez sprememb med pregledi.

• Upoštevajte, kako vsako orodje določa svojo oceno.

• Primerjajte označene stavke namesto glavnih številk.

• Označite vsak stavek, ki sta ga označila oba orodja, saj je to prekrivanje najbolj koristen namig.

• Te vrstice prepišite z nekaj konkretnim in izvirnim, nato pa ponovno izvedite pregled.

Izberite eno AI-preverjalno orodje kot izhodišče in ga dosledno uporabljajte, tako da spremembe v oceni odražajo spremembe v vašem pisanju in ne spremembe v orodju. Doslednost vam omogoča prepoznati trend, iz katerega se lahko učite, medtem ko prehajanje med orodji povzroča le šum. Če to počnete pogosto, vodite kratek dnevnik: datum, orodje, ocena in kateri stavki so bili označeni. Po nekaj esejih boste vedeli, kako se posamezno orodje običajno odziva na vaš slog, kar je vredno več kot katero koli posamezno branje.

Ko je nesoglasje informacija

Tukaj je točka, ki jo mnogi spregledajo. Če se dve ugledni orodji glede vašega besedila močno ne strinjata, je to dokaz dvoumnosti. Besedilo se nahaja v sivem območju, ki ga programska oprema ne more razrešiti, in nobena od številk ne zasluži, da bi jo obravnavali kot dokaz. Leta 2023 je OpenAI umaknil svoj AI Text Classifier, potem ko je poročal o 26-odstotni stopnji pravilnih pozitivnih rezultatov in 9-odstotni stopnji napačnih pozitivnih rezultatov (OpenAI, 2023), kar nas opominja, da se tudi ekipe z obilnimi viri težko odločijo za jasno ločnico.

Zato je pravi odziv na razdeljeno mnenje, da se zanesete na svoj proces. Hranite osnutke, načrte in zapiske ter bodite pripravljeni pojasniti svojo trditev z lastnimi besedami. Če vas predavatelj ali urednik vpraša o oceni, ti zapisi govorijo glasneje kot kateri koli posamezni pregled. Če morate komu sporočiti številko, navedite razpon in imena orodij.

Soglasje je redko, in to je koristno vedeti

Različna orodja, ki so drugače usposobljena, zasnovana za različne modele in merijo nekoliko različne stvari, bodo redko pokazala ujemajoče se ocene. Če to veste, lahko nehate iskati eno samo pravilno številko in začnete početi nekaj boljšega: preberite poudarjene dele, izboljšajte splošne stavke in vodite evidenco o tem, kako ste pisali. Razlika med dvema preverjalnikoma ni kriza. Je spodbuda, da si stvari ogledate podrobneje.

Če želite bolje razumeti, kako nastajajo ocene zaznavanja in kje so njihove pomanjkljivosti, si v nadaljnjem branju na blogu Phrasly oglejte podrobnejšo obravnavo teh vprašanj.