De ce programele de verificare bazate pe inteligență artificială acordă note diferite pentru același eseu

Introducere

Două file de browser, un eseu și două rezultate foarte diferite. Primul program de verificare indică 8%. Al doilea indică 61%. Textul nu s-a modificat deloc între cele două copieri, nu ai editat niciun cuvânt, iar acum nu mai știi pe care ecran să te bazezi.

Niciunul dintre ele nu minte. Ele răspund diferit la întrebare, iar înțelegerea motivului te ajută să scapi de panica momentului. Acest articol explică de unde provine această discrepanță, cum să compari rezultatele în mod rațional și ce îți spune de fapt această neconcordanță.

Antrenament diferit, instincte diferite

Fiecare instrument de verificare este construit după propria sa rețetă. Unele se bazează pe „perplexitate”, o măsură a cât de previzibilă este formularea ta pentru un model lingvistic. Altele iau în calcul „burstiness”, adică varietatea lungimii și structurii propozițiilor. Multe combină aceste elemente cu clasificatori antrenați pe exemple etichetate de text uman și generat de mașini, iar conținutul acelor exemple modelează tot ceea ce instrumentul observă ulterior.

Pagina de prezentare a detectorului Phrasly menționează că antrenarea sa se bazează pe peste 1 milion de articole scrise de oameni, o afirmație a furnizorului care merită luată în considerare, deoarece ilustrează ideea: un instrument antrenat în principal pe articole de știri va evalua un eseu academic diferit față de unul antrenat pe texte scrise de studenți. Două instrumente de verificare pot citi aceeași propoziție și pot ajunge la concluzii diferite, deoarece au învățat din biblioteci de texte diferite.

Semnificația procentului depinde de instrument

Nici măcar cifra din titlu nu este standardizată. Un instrument de verificare raportează probabilitatea ca întregul text să fie scris de o mașină. Altul raportează proporția de propoziții pe care le consideră scrise de o mașină. Un al treilea calculează media scorurilor propozițiilor. Toate afișează un procent, dar nu măsoară același lucru. Pragurile diferă, de asemenea. Un instrument poate considera că orice valoare peste 50% este probabil scrisă de o mașină, în timp ce altul așteaptă până la 80%, astfel încât același rezultat brut poate primi etichete opuse.

De aceea, o simplă cifră provenită din două surse nu poate fi comparată direct. Observați modul în care fiecare instrument descrie scorul său și preferați-le pe cele care afișează propozițiile evidențiate și probabilitățile. Când puteți vedea propozițiile care stau la baza cifrei, puteți compara ceea ce instrumentele au semnalat efectiv, mai degrabă decât etichetele pe care le-au atribuit.

Actualizările modelelor lasă lacune

Instrumentele de scriere bazate pe IA se schimbă constant, iar detectoarele rămân în urmă. Un articol explicativ din 2026 al Centric DXB descrie problema ca pe o schimbare de distribuție: un clasificator antrenat pe modele mai vechi își pierde precizia odată cu apariția unor modele mai noi, până când este reantrenat. Un instrument de verificare actualizat luna trecută și unul actualizat anul trecut pot trata același eseu în moduri foarte diferite. Nimic din toate acestea nu face ca instrumentele mai vechi să fie inutile. Înseamnă că ar trebui să verificați notele de actualizare recente ale unui instrument așa cum ați verifica data de lansare a unei aplicații și să considerați lipsa informațiilor ca un motiv de precauție suplimentară.

Acoperirea este, de asemenea, un factor important. Pagina Phrasly menționează ChatGPT, Claude, Gemini, Perplexity, DeepSeek și Grok printre modelele pe care le vizează și acceptă limbile engleză, spaniolă, franceză și germană. Un instrument cu o acoperire mai restrânsă poate omite tipare pe care altul le detectează sau poate semnaliza texte scrise de oameni pe care pur și simplu nu le înțelege.

Același eseu, citit în moduri diferite

Există, de asemenea, latura umană a textului. Un studiu din 2023 condus de cercetători de la Stanford a testat șapte detectoare utilizate pe scară largă pe 91 de eseuri TOEFL scrise de vorbitori de engleză ca limbă străină, iar în medie 61,3% au fost etichetate în mod eronat ca fiind generate de IA (Liang et al., Patterns, 2023). Exprimarea simplă, atentă și previzibilă este ceea ce un instrument bazat pe perplexitate tratează ca fiind specifică unei mașini.

Dacă eseul tău este scris într-o a doua limbă, într-un stil academic foarte structurat sau pe baza unui șablon standard, te poți aștepta la scoruri mai mari și la mai multe discrepanțe între instrumente. Discrepanța nu este întâmplătoare. Ea reflectă cât de sensibil este fiecare instrument de verificare la un stil de scriere care este comun în rândul scriitorilor autentici. Și subiectul are un rol important. Scrierea tehnică, cu termenii săi fixi și structurile repetate, oferă unui detector mai puține variații cu care să lucreze decât o reflecție personală.

O modalitate rațională de a compara rezultatele

Când două instrumente nu sunt de acord, rezistă tentației de a continua să lipești textul până obții un scor care îți place. Folosește în schimb un plan. Nu neglija lungimea. Lipește de fiecare dată același eseu complet, deoarece un instrument de verificare căruia i se oferă doar introducerea ta rezolvă o problemă diferită față de unul căruia i se oferă zece pagini.

• Verificați același text complet, fără modificări între verificări.

• Observați cum fiecare instrument își definește scorul.

• Comparați propozițiile evidențiate, mai degrabă decât cifrele principale.

• Marcați orice propoziție semnalată de ambele instrumente, deoarece această suprapunere este cel mai util indiciu.

• Rescrieți acele fraze cu ceva specific și original, apoi rulați din nou instrumentul.

Alege un singur verificator AI ca punct de referință și folosește-l în mod consecvent, astfel încât schimbările în scor să reflecte schimbările din scrierea ta, nu schimbările din instrument. Consecvența îți oferă o tendință din care poți învăța, în timp ce trecerea de la un instrument la altul generează doar zgomot. Ține un mic jurnal dacă faci asta des: data, instrumentul, scorul și propozițiile care au fost semnalate. După câteva eseuri, vei ști cum tinde să se comporte fiecare instrument în raport cu stilul tău, ceea ce valorează mai mult decât orice lectură singulară.

Când dezacordul este informația

Iată un aspect pe care mulți îl trec cu vederea. Dacă două instrumente de renume sunt în dezacord profund cu privire la textul tău, aceasta este o dovadă de ambiguitate. Textul se află într-o zonă gri pe care software-ul nu o poate clarifica, iar niciuna dintre cele două evaluări nu merită să fie tratată ca dovadă. În 2023, OpenAI și-a retras propriul clasificator de text bazat pe IA după ce a raportat o rată de 26% de rezultate pozitive corecte și o rată de 9% de rezultate pozitive false (OpenAI, 2023), ceea ce ne reamintește că chiar și echipele cu resurse ample se luptă să traseze o linie clară.

Așadar, răspunsul corect la un verdict împărțit este să te bazezi pe propriul tău proces. Păstrează schițele, planurile și notițele și fii pregătit să-ți explici argumentele cu propriile cuvinte. Dacă un profesor sau un editor te întreabă despre un scor, aceste înregistrări vorbesc mai tare decât orice scanare singulară. Dacă trebuie să raportezi o cifră cuiva, raportează intervalul și menționează instrumentele utilizate.

Consensul este rar, și este util să știi acest lucru

Instrumentele diferite, antrenate în mod diferit, concepute pentru modele diferite și care măsoară aspecte ușor diferite, vor produce rareori scoruri identice. Cunoașterea acestui fapt vă permite să încetați să mai căutați un singur număr corect și să începeți să faceți ceva mai util: să citiți aspectele evidențiate, să consolidați orice propoziție generică și să păstrați o evidență a modului în care ați scris. O discrepanță între două instrumente de verificare nu reprezintă o criză. Este un îndemn de a analiza mai atent.

Dacă doriți să înțelegeți mai bine cum sunt generate scorurile de detectare și unde prezintă acestea deficiențe, articolele de pe blogul Phrasly explorează aceste întrebări în detaliu.