Kodėl dirbtinio intelekto vertinimo programos tam pačiam rašiniui skiria skirtingus balus

Įvadas

Dvi naršyklės kortelės, vienas rašinys ir du labai skirtingi atsakymai. Pirmasis tikrintuvas rodo 8 procentus. Antrasis – 61. Įklijuojant tekstą niekas nepasikeitė, jūs nepakeitėte nė vieno žodžio, o dabar nežinote, kuriam ekranui tikėti.

Nė viena iš jų nemeluoja. Jos į klausimą atsako skirtingai, o supratus, kodėl taip yra, galima nusiraminti. Šiame straipsnyje paaiškinama, iš kur atsiranda šis skirtumas, kaip protingai palyginti rezultatus ir ką iš tikrųjų reiškia šis nesutarimas.

Skirtingas mokymas, skirtingi instinktai

Kiekviena tikrinimo programa sukurta pagal savitą receptą. Kai kurios remiasi „perplexity“ rodikliu, kuris matuoja, kiek jūsų formuluotės yra nuspėjamos kalbos modeliui. Kitos vertina „burstiness“ – sakinių ilgio ir struktūros įvairovę. Daugelis derina šiuos rodiklius su klasifikatoriais, apmokytais naudojant pažymėtus žmogaus ir mašinos tekstų pavyzdžius, o tai, kas yra tuose pavyzdžiuose, formuoja viską, ką įrankis vėliau pastebi.

„Phrasly“ detektoriaus puslapyje teigiama, kad jo mokymas remiasi daugiau nei 1 milijonu tikrų žmonių parašytų straipsnių – tai verta žinoti, nes tai iliustruoja esmę: įrankis, mokytas daugiausia remiantis naujienų straipsniais, akademinį rašinį vertins kitaip nei tas, kuris mokytas remiantis studentų rašymais. Du tikrinimo įrankiai, skaitydami tą patį sakinį, gali prieiti prie skirtingų išvadų, nes jie mokėsi iš skirtingų rašymo pavyzdžių rinkinių.

Procentinio rodiklio reikšmė priklauso nuo įrankio

Net pagrindinis skaičius nėra standartinis. Viena tikrinimo priemonė nurodo tikimybę, kad visas tekstas yra parašytas mašinos. Kita nurodo sakinių, kurie, jos nuomone, yra parašyti mašinos, dalį. Trečioji apskaičiuoja sakinių balų vidurkį. Visos jos pateikia procentinį rodiklį, tačiau matuoja skirtingus dalykus. Skiriasi ir ribiniai dydžiai. Viena priemonė gali laikyti, kad viskas, kas viršija 50 procentų, yra tikėtinai parašyta mašinos, o kita laukia, kol pasieks 80, todėl identiški neapdoroti rezultatai gali būti pažymėti priešingomis etiketėmis.

Būtent todėl dviejų šaltinių pateiktų skaičių negalima tiesiogiai lyginti. Atkreipkite dėmesį į tai, kaip kiekviena priemonė apibūdina savo įvertinimą, ir teikite pirmenybę toms, kurios paryškina sakinius ir nurodo tikimybes. Kai matote skaičiui pagrindą sudarančius sakinius, galite palyginti tai, ką priemonės iš tikrųjų pažymėjo, o ne jų priskirtas etiketes.

Modelio atnaujinimai palieka spragų

AI rašymo įrankiai nuolat keičiasi, o jų aptikimo įrankiai atsilieka. Viename 2026 m. „Centric DXB“ paaiškinime ši problema apibūdinama kaip pasiskirstymo poslinkis: klasifikatorius, apmokytas pagal senesnius modelius, praranda tikslumą, kai pasirodo naujesni modeliai, kol nėra iš naujo apmokytas. Praėjusį mėnesį atnaujintas tikrintuvas ir tas, kuris buvo atnaujintas praėjusiais metais, tą patį rašinį gali vertinti visiškai skirtingai. Tai nereiškia, kad senesni tikrintuvai tampa nenaudingi. Tai reiškia, kad turėtumėte patikrinti įrankio naujausias atnaujinimo pastabas taip pat, kaip tikrintumėte programėlės išleidimo datą, o tylą laikyti priežastimi, dėl kurios reikia būti ypač atsargiems.

Taip pat svarbus veiksnys yra aprėptis. „Phrasly“ puslapyje tarp modelių, kuriuos ji tikrina, paminėti „ChatGPT“, „Claude“, „Gemini“, „Perplexity“, „DeepSeek“ ir „Grok“, o įrankis palaiko anglų, ispanų, prancūzų ir vokiečių kalbas. Įrankis su siauresne aprėptimi gali nepranešti apie modelius, kuriuos aptinka kitas įrankis, arba pažymėti žmogaus parašytą tekstą, kurio jis tiesiog nesupranta.

Tas pats rašinys, skaitomas skirtingai

Yra ir žmogiškasis teksto aspektas. 2023 m. Stanfordo universiteto tyrėjų atliktame tyrime buvo išbandyti septyni plačiai naudojami detektoriai, taikant juos 91 TOEFL esė, kuriuos parašė ne anglų kalbos gimtakalbiai, ir vidutiniškai 61,3 proc. jų buvo klaidingai pažymėti kaip sukurti dirbtinio intelekto (Liang et al., „Patterns“, 2023). Paprastos, atsargios ir nuspėjamos frazės yra tai, ką „perplexity“ pagrindu veikianti priemonė traktuoja kaip mašininį tekstą.

Jei jūsų esė parašytas antrąja kalba, griežtai struktūruotu akademiniu stiliumi arba pagal standartinį šabloną, tikėkitės aukštesnių įvertinimų ir didesnių skirtumų tarp įvairių įrankių. Šie skirtumai nėra atsitiktiniai. Jie atspindi, kaip jautriai kiekvienas tikrintuvas reaguoja į rašymo stilių, būdingą sąžiningiems rašytojams. Taip pat svarbus ir temos pobūdis. Techniniai tekstai, kuriuose naudojami fiksuoti terminai ir pasikartojančios struktūros, detektoriui suteikia mažiau variacijų, su kuriomis dirbti, nei asmeninės refleksijos.

Protingas būdas palyginti rezultatus

Kai dvi programos nesutaria, atsispirkite pagundai įklijuoti tekstą tol, kol gausite jums patinkantį balą. Vietoj to laikykitės plano. Nepamirškite teksto ilgio. Kiekvieną kartą įklijuokite tą patį visą rašinį, nes tikrinimo programa, kuriai pateikiama tik įžanga, sprendžia kitokią užduotį nei ta, kuriai pateikiama dešimt puslapių.

• Patikrinkite tą patį visą tekstą, tarp patikrinimų nieko nerengdami.

• Atkreipkite dėmesį, kaip kiekviena priemonė apibrėžia savo balą.

• Palyginkite paryškintus sakinius, o ne pagrindinius skaičius.

• Pažymėkite visus sakinius, kuriuos pažymėjo abi programos, nes šis sutapimas yra naudingiausia užuomina.

• Perrašykite tuos sakinius, pateikdami ką nors konkretaus ir originalaus, tada vėl paleiskite programą.

Pasirinkite vieną AI tikrinimo įrankį kaip atskaitos tašką ir naudokite jį nuosekliai, kad balo pokyčiai atspindėtų jūsų rašymo pokyčius, o ne įrankio pokyčius. Nuoseklumas suteikia tendenciją, iš kurios galite pasimokyti, o peršokimas iš vieno įrankio į kitą sukelia tik triukšmą. Jei tai darote dažnai, vedkite nedidelį žurnalą: data, įrankis, balas ir kokie sakiniai buvo pažymėti. Po kelių esė sužinosite, kaip kiekvienas įrankis paprastai reaguoja į jūsų stilių, o tai yra vertingiau nei bet koks pavienis perskaitymas.

Kai nesutarimas yra informacija

Čia yra aspektas, kurio daugelis žmonių nepastebi. Jei dvi gerbiamos priemonės smarkiai nesutaria dėl jūsų teksto, tai yra dviprasmiškumo įrodymas. Tekstas atsiduria pilkojoje zonoje, kurią programinė įranga negali išspręsti, ir nė vienas iš skaičių neturėtų būti traktuojamas kaip įrodymas. 2023 m. „OpenAI“ atšaukė savo pačios AI teksto klasifikatorių, pranešusi apie 26 procentų tikrųjų teigiamų rezultatų ir 9 procentų klaidingų teigiamų rezultatų rodiklį (OpenAI, 2023 m.) – tai primena, kad net ir gerai aprūpintos komandos sunkiai sugeba nubrėžti aiškią ribą.

Taigi teisingas atsakas į prieštaringą vertinimą – pasikliauti savo darbo procesu. Saugokite juodraščius, planus ir užrašus bei būkite pasirengę savo argumentus paaiškinti savo žodžiais. Jei dėstytojas ar redaktorius paklaus apie rezultatą, šie įrašai pasakys daugiau nei bet koks pavienis skenavimas. Jei turite kam nors pateikti skaičių, nurodykite intervalą ir įvardykite įrankius.

Sutarimas pasiekiamas retai, ir tai naudinga žinoti

Skirtingi įrankiai, apmokyti skirtingai, sukurti skirtingiems modeliams ir vertinantys šiek tiek skirtingus dalykus, retai pateiks sutampančius balus. Žinodami tai, galite nustoti siekti vieno teisingo skaičiaus ir pradėti daryti kažką geresnio: skaityti išryškintas vietas, stiprinti bet kurį bendrąjį sakinį ir fiksuoti, kaip rašėte. Skirtumas tarp dviejų tikrinimo įrankių nėra krizė. Tai raginimas pažvelgti atidžiau.

Jei norite geriau suprasti, kaip nustatomi aptikimo balai ir kur jie yra nepakankami, Phrasly tinklaraštyje rasite išsamesnę informaciją apie šiuos klausimus.