Kāpēc mākslīgā intelekta pārbaudītāji vienam un tam pašam esejam piešķir atšķirīgus vērtējumus

Ievads

Divas pārlūka cilnes, viens esejas teksts un divas ļoti atšķirīgas atbildes. Pirmais pārbaudītājs rāda 8 procentus. Otrais — 61. Tekstā nekas nav mainījies starp abām ielīmēšanas reizēm, jūs neesat rediģējis nevienu vārdu, un tagad nezināt, kuram ekrānam ticēt.

Neviens no tiem nemelo. Tie vienkārši atbild uz jautājumu atšķirīgi, un, saprotot, kāpēc tā, jūs vairs nepanikosiet. Šajā rakstā ir izskaidrots, no kurienes rodas šī atšķirība, kā saprātīgi salīdzināt rezultātus un ko patiesībā liecina šī nesaskaņa.

Atšķirīga apmācība, atšķirīgas intuīcijas

Katrs pārbaudītājs ir veidots pēc savas receptes. Daži balstās uz „perplexity” — rādītāju, kas atspoguļo, cik paredzama jūsu formulējuma valoda ir valodas modelim. Citi ņem vērā „burstiness” — teikumu garuma un struktūras dažādību. Daudzi apvieno šos rādītājus ar klasifikatoriem, kas apmācīti, izmantojot marķētus cilvēku un mašīnu teksta piemērus, un šo piemēru saturs nosaka visu, ko rīks pēc tam pamanīs.

Phrasly detektora lapā teikts, ka tā apmācība balstās uz vairāk nekā 1 miljonu reālu cilvēku rakstītu rakstu — tas ir vērts zināt, jo ilustrē šo punktu: rīks, kas galvenokārt apmācīts uz ziņu rakstiem, akadēmisko eseju vērtēs citādi nekā rīks, kas apmācīts uz studentu rakstītajiem darbiem. Divi pārbaudītāji var izlasīt vienu un to pašu teikumu un nonākt pie atšķirīgiem secinājumiem, jo tie ir mācījušies no atšķirīgām rakstīšanas bibliotēkām.

Procentuālās vērtības nozīme ir atkarīga no rīka

Pat galvenais skaitlis nav standartizēts. Viens pārbaudītājs norāda varbūtību, ka viss teksts ir rakstīts ar mašīnu. Cits norāda to teikumu daļu, kurus tas uzskata par mašīnas rakstītiem. Trešais aprēķina teikumu rezultātu vidējo vērtību. Visi tie parāda procentuālo rādītāju, taču nemēra to pašu. Atšķiras arī sliekšņi. Viens rīks var uzskatīt, ka viss, kas pārsniedz 50 procentus, visticamāk ir rakstīts ar mašīnu, kamēr cits gaida līdz 80 procentiem, tādējādi identiskiem neapstrādātiem rezultātiem var tikt piešķirti pretēji apzīmējumi.

Tāpēc divu avotu sniegtos skaitļus nevar tieši salīdzināt. Pievērsiet uzmanību tam, kā katrs rīks apraksta savu novērtējumu, un dodiet priekšroku tiem, kas parāda izceltos teikumus un varbūtības. Ja varat redzēt teikumus, kas slēpjas aiz skaitļa, varat salīdzināt to, ko rīki faktiski ir atzīmējuši, nevis to piešķirtos apzīmējumus.

Modeļu atjauninājumi rada nepilnības

AI rakstīšanas rīki pastāvīgi mainās, bet detektori atpaliek. Vienā 2026. gada skaidrojumā no Centric DXB šī problēma tiek aprakstīta kā sadales nobīde: klasifikators, kas apmācīts uz vecākiem modeļiem, zaudē precizitāti, kad parādās jaunāki modeļi, līdz brīdim, kad tas tiek pārapmācīts. Pārbaudītājs, kas atjaunināts pagājušajā mēnesī, un tāds, kas atjaunināts pagājušajā gadā, var ļoti atšķirīgi izvērtēt vienu un to pašu eseju. Tas nenozīmē, ka vecākie pārbaudītāji ir kļuvuši nederīgi. Tas nozīmē, ka jums vajadzētu pārbaudīt rīka jaunākās atjauninājumu piezīmes tāpat, kā jūs pārbaudītu lietotnes izlaides datumu, un klusēšanu uzskatīt par iemeslu papildu piesardzībai.

Svarīgs faktors ir arī pārklājums. „Phrasly“ lapā minēti tādi modeļi kā „ChatGPT“, „Claude“, „Gemini“, „Perplexity“, „DeepSeek“ un „Grok“, un rīks atbalsta angļu, spāņu, franču un vācu valodas. Rīks ar šaurāku pārklājumu var nepamanīt modeļus, kurus cits rīks uztver, vai arī atzīmēt par cilvēka rakstītu tekstu to, ko tas vienkārši nesaprot.

Viens un tas pats esejs, lasīts atšķirīgi

Ir arī teksta cilvēciskā puse. 2023. gadā veiktajā pētījumā, ko vadīja Stenfordas pētnieki, tika pārbaudīti septiņi plaši izmantoti detektori, analizējot 91 TOEFL eseju, kuras bija sarakstījuši cilvēki, kam angļu valoda nav dzimtā, un vidēji 61,3 % no tām tika nepareizi atzītas par ģenerētām ar AI (Liang et al., Patterns, 2023). Vienkārša, rūpīga un paredzama frāzēšana ir tas, ko uz „perplexity” balstīts rīks uztver kā mašīnai raksturīgu.

Ja jūsu eseju esat rakstījis otrajā valodā, stingri strukturētā akadēmiskā stilā vai, balstoties uz standarta veidni, sagaidiet augstākus rezultātus un lielākas atšķirības starp rīkiem. Šīs atšķirības nav nejaušas. Tās atspoguļo to, cik jutīgs katrs pārbaudītājs ir pret rakstīšanas stilu, kas ir raksturīgs godīgiem autoriem. Nozīme ir arī tematikai. Tehniskā rakstīšana ar tās fiksētajiem terminiem un atkārtotajām struktūrām detektoram piedāvā mazāk variāciju, ar kurām strādāt, nekā personiskas pārdomas.

Saprātīgs veids, kā salīdzināt rezultātus

Ja divi rīki nesaskan, nepadodieties kārdinājumam turpināt ielīmēt tekstu, līdz iegūsit vēlamo vērtējumu. Tā vietā izmantojiet plānu. Neaizmirstiet par garumu. Katru reizi ielīmējiet to pašu pilno eseju, jo pārbaudītājs, kuram tiek sniegta tikai ievada daļa, risina citu problēmu nekā tas, kuram tiek sniegtas desmit lappuses.

• Pārbaudiet to pašu pilno tekstu, neveicot izmaiņas starp pārbaudēm.

• Pievērsiet uzmanību tam, kā katrs rīks aprēķina savu rezultātu.

• Salīdziniet izceltos teikumus, nevis galvenos skaitļus.

• Atzīmējiet jebkuru teikumu, ko ir atzīmējuši abi rīki, jo šī pārklāšanās ir visnoderīgākā norāde.

• Pārrakstiet šos teikumus, izmantojot konkrētu un oriģinālu formulējumu, un pēc tam atkārtojiet pārbaudi.

Izvēlieties vienu AI pārbaudītāju kā atsauces punktu un izmantojiet to konsekventi, lai rezultātu izmaiņas atspoguļotu izmaiņas jūsu rakstīšanas stilā, nevis rīka darbībā. Konsekvence sniedz tendenci, no kuras varat mācīties, savukārt pāreja no viena rīka uz otru rada tikai troksni. Ja to darāt bieži, veidojiet nelielu žurnālu: datums, rīks, rezultāts un teikumi, kas tika atzīmēti. Pēc dažiem eseju pārbaudījumiem jūs sapratīsiet, kā katrs rīks reaģē uz jūsu stilu, un tas ir vērtīgāk nekā jebkura atsevišķa pārbaude.

Kad nesaskaņa ir informācija

Šeit ir punkts, ko daudzi cilvēki nepamanī. Ja divi uzticami rīki krasi nesaskan par jūsu tekstu, tas ir neskaidrības pierādījums. Teksts atrodas pelēkajā zonā, ko programmatūra nespēj atrisināt, un neviens no rādītājiem nav uzskatāms par pierādījumu. 2023. gadā OpenAI atsauca savu AI Teksta klasifikatoru pēc tam, kad tika ziņots par 26 procentu patiesā pozitīvā rādītāja un 9 procentu kļūdainā pozitīvā rādītāja (OpenAI, 2023), kas atgādina, ka pat labi nodrošinātām komandām ir grūti novilkt skaidru robežu.

Tāpēc pareizā rīcība gadījumā, ja vērtējumi atšķiras, ir paļauties uz savu darba procesu. Saglabājiet uzmetumus, plānus un piezīmes un esiet gatavi izskaidrot savu argumentāciju ar saviem vārdiem. Ja pasniedzējs vai redaktors jautā par rezultātu, šie ieraksti runā skaļāk nekā jebkurš atsevišķs skenējums. Ja jums ir jāziņo kādam par skaitli, norādiet diapazonu un nosauciet rīkus.

Vienprātība ir reta, un to ir noderīgi zināt

Dažādi rīki, kas apmācīti atšķirīgi, izstrādāti dažādiem modeļiem un mēra nedaudz atšķirīgas lietas, reti kad sniegs saskanīgus rezultātus. Zinot to, jūs varat pārtraukt meklēt vienu pareizo skaitli un sākt darīt kaut ko labāku: izlasīt izceltos fragmentus, uzlabot vispārīgus teikumus un reģistrēt to, kā jūs rakstījāt. Atšķirība starp diviem pārbaudītājiem nav krīze. Tā ir pamudinājums apskatīt tekstu rūpīgāk.

Ja vēlaties labāk izprast, kā tiek aprēķināti atklāšanas rezultāti un kurās jomās tiem ir trūkumi, Phrasly blogā publicētie raksti šos jautājumus izskata daudz padziļinātāk.