Miks tehisintellekti hindamissüsteemid annavad ühele ja samale essee’le erinevaid hindeid?

Sissejuhatus

Kaks brauseri vahekaarti, üks essee ja kaks väga erinevat vastust. Esimene kontrollprogramm näitab 8 protsenti. Teine näitab 61. Tekstis ei muutunud midagi kopeerimise vahel, sa ei muutnud ühtegi sõna, ja nüüd ei tea sa, kumba ekraani uskuda.

Kumbki neist ei valeta. Nad vastavad küsimusele erinevalt, ja kui sa mõistad, miks see nii on, kaob paanika. Käesolevas artiklis selgitatakse, kust see erinevus pärineb, kuidas tulemusi mõistlikult võrrelda ja mida see lahknevus tegelikult tähendab.

Erinev koolitus, erinevad instinktid

Iga kontrollija on ehitatud omaenda retsepti järgi. Mõned tuginevad „perplexity“-le, mis mõõdab, kui ettearvatav on teie sõnastus keelemudelile. Teised kaaluvad „burstiness“-i, st lause pikkuse ja struktuuri mitmekesisust. Paljud kombineerivad neid klassifikaatoritega, mis on treenitud inimeste ja masinate tekstide märgistatud näidete põhjal, ning need näited kujundavad kõike, mida tööriist hiljem märkab.

Phrasly kontrollija lehel on kirjas, et selle treenimiseks on kasutatud üle miljoni tõelise inimese kirjutatud artikli – see on tootja väide, mida tasub teada, sest see illustreerib järgmist: peamiselt uudisartiklite põhjal treenitud tööriist hindab akadeemilist esseed teistmoodi kui tööriist, mis on treenitud üliõpilaste kirjutiste põhjal. Kaks kontrollijat võivad lugeda sama lauset ja jõuda erinevatele järeldustele, sest nad on õppinud erinevatest kirjutiste kogudest.

Protsendi tähendus sõltub tööriistast

Isegi pealkirjas esitatud arv ei ole standardne. Üks kontrollija näitab tõenäosust, et kogu tekst on masinakirjutatud. Teine näitab nende lausete osakaalu, mida ta peab masinakirjutatuks. Kolmas arvutab lausete skooride keskmise. Kõik nad kuvavad protsendimäära, kuid ei mõõda sama asja. Ka künnisväärtused erinevad. Üks tööriist võib kõike üle 50 protsendi pidada tõenäoliselt masinakirjutatuks, samas kui teine ootab kuni 80 protsendini, mistõttu identne toorandmetulemus võib saada vastandlikud märgistused.

Seetõttu ei saa kahe allika puhtaid numbreid otseselt võrrelda. Vaadake, kuidas iga tööriist oma tulemust kirjeldab, ja eelistage neid, mis näitavad esile tõstetud lauseid ja tõenäosusi. Kui näete numbri taga olevaid lauseid, saate võrrelda seda, mida tööriistad tegelikult märgistasid, mitte aga neile antud märgistusi.

Mudelite uuendused jätavad lünki

Tehisintellekti kirjutamisvahendid muutuvad pidevalt, kuid tuvastusvahendid jäävad neist maha. Ühes Centric DXB 2026. aasta selgituses kirjeldatakse seda probleemi jaotuse nihkena: vanematel mudelitel treenitud klassifikaator kaotab täpsuse uute mudelite ilmumisel, kuni see uuesti treenitakse. Eelmisel kuul uuendatud kontrollitööriist ja eelmisel aastal uuendatud tööriist võivad sama esseediga väga erinevalt toime tulla. See ei tähenda, et vanemad kontrollitööriistad oleksid kasutud. See tähendab, et peaksite kontrollima tööriista viimaseid uuendusteateid samamoodi, nagu kontrolliksite rakenduse väljalaskekuupäeva, ning käsitlema vaikimist põhjusena, miks tuleb olla eriti ettevaatlik.

Ka katvus on oluline tegur. Phrasly nimetab oma lehel sihtmudelitena ChatGPT, Claude, Gemini, Perplexity, DeepSeek ja Grok ning toetab inglise, hispaania, prantsuse ja saksa keelt. Piiratuma katvusega tööriist võib jätta märkamata mustrid, mida teine tööriist tuvastab, või märgistada inimese kirjutist, mida ta lihtsalt ei mõista.

Sama essee, erinevalt loetuna

Tekstil on ka inimlik pool. Stanfordi teadlaste juhitud 2023. aasta uuringus testiti seitset laialdaselt kasutatavat tuvastusvahendit 91 TOEFL-essee puhul, mille autorid ei olnud emakeelena inglise keelt kõnelevad, ning keskmiselt 61,3 protsenti neist märgiti ekslikult AI poolt looduks (Liang jt., Patterns, 2023). Lihtne, ettevaatlik ja ettearvatav sõnastus on see, mida perplexity-põhine tööriist käsitleb masinlikuna.

Kui teie essee on kirjutatud teises keeles, rangelt struktureeritud akadeemilises stiilis või standardse malli järgi, võite oodata kõrgemaid tulemusi ja suuremat erimeelsust tööriistade vahel. See erimeelsus ei ole juhuslik. See peegeldab seda, kui tundlik on iga kontrollija kirjutamisstiili suhtes, mis on tavaline ausate kirjutajate seas. Ka teema mängib rolli. Tehniline kirjutamine, millel on kindlad terminid ja korduvad struktuurid, pakub detektorile vähem variatsiooni, millega töötada, kui isiklikud mõtted.

Mõistlik viis tulemuste võrdlemiseks

Kui kaks kontrollitööriista ei jõua kokkuleppele, vastupanu kiusatusele jätkata teksti kleepimist, kuni saad soovitud tulemuse. Kasuta selle asemel kindlat plaani. Ära unusta teksti pikkust. Kleebi iga kord sama täielik essee, sest kontrollitööriist, millele antakse vaid sissejuhatus, lahendab teistsugust ülesannet kui see, millele antakse kümme lehekülge.

• Kontrollige sama täisteksti, tehes vahepeal muudatusi.

• Pane tähele, kuidas iga tööriist oma tulemust määratleb.

• Võrdle pigem esile tõstetud lauseid kui pealkirjas esitatud numbreid.

• Märkige ära kõik laused, mida mõlemad tööriistad on märkinud, sest see kattuvus on kõige kasulikum vihje.

• Kirjutage need read ümber, kasutades konkreetseid ja originaalseid väljendeid, ning käivitage skanner uuesti.

Vali üks AI-kontrollija oma võrdlusaluseks ja kasuta seda järjepidevalt, nii et tulemuse muutused peegeldavad muutusi sinu kirjutamises, mitte tööriista muutusi. Järjepidevus annab sulle suundumuse, millest saad õppida, samas kui tööriistade vahel hüppamine tekitab segadust. Kui teed seda sageli, pea väikest päevikut: kuupäev, tööriist, tulemus ja millised laused tõusid esile. Pärast mõnda esseed saad aru, kuidas iga tööriist sinu stiili suhtes käitub, mis on väärtuslikum kui ükski üksik lugemine.

Kui erimeelsus ongi teave

Siin on üks punkt, mida paljud inimesed tähelepanuta jätavad. Kui kaks usaldusväärset tööriista on teie teksti suhtes teravalt eriarvamusel, on see tõend mitmetähenduslikkusest. Tekst asub hallis tsoonis, mida tarkvara ei suuda lahendada, ning kumbagi tulemust ei tohiks tõendina käsitleda. 2023. aastal võttis OpenAI oma AI Text Classifier’i turult maha, olles teatanud 26-protsendilisest tõepositiivsuse määrast ja 9-protsendilisest valepositiivsuse määrast (OpenAI, 2023) – see on meeldetuletus, et isegi hästi varustatud meeskonnad peavad vaeva nägema, et kindlat piiri tõmmata.

Seega on õige reaktsioon lahknevatele tulemustele tugineda oma tööprotsessile. Säilita kavandid, kontuurid ja märkmed ning ole valmis oma argumente oma sõnadega selgitama. Kui õppejõud või toimetaja küsib tulemuse kohta, räägivad need dokumendid rohkem kui ükski üksik skaneering. Kui pead kellelegi numbrit esitama, esita vahemik ja nimeta kasutatud tööriistad.

Üksmeel on haruldane, ja seda on kasulik teada

Erinevad tööriistad, mis on erinevalt treenitud, loodud erinevate mudelite jaoks ja mõõdavad veidi erinevaid asju, annavad harva ühtivaid tulemusi. Seda teades võite lõpetada üheainsa õige numbri tagaajamise ja hakata tegema midagi paremat: lugema esile tõstetud kohti, tugevdama üldiseid lauseid ja pidama arvestust selle üle, kuidas te kirjutasite. Kahe kontrollija vaheline erinevus ei ole kriis. See on üleskutse vaadata asja lähemalt.

Kui soovite paremini mõista, kuidas tuvastamisskoorid tekivad ja millistes valdkondades neil on puudujääke, leiate Phrasly blogist täiendavat lugemismaterjali, kus neid küsimusi põhjalikumalt käsitletakse.