Защо програмите за проверка с изкуствен интелект дават различни оценки за едно и също есе

Въведение

Два раздела в браузъра, едно есе и два много различни отговора. Първият проверяващ сочи 8 процента. Вторият – 61. Нищо в текста не се е променило между двете копирания, не сте редактирали нито една дума, а сега не сте сигурни на кой екран да вярвате.

Нито един от двата не лъже. Те отговарят по различен начин на въпроса, а разбирането на причината за това ще ви помогне да се успокоите. В тази статия се обяснява откъде идва разликата, как да сравнявате резултатите разумно и какво всъщност ви казва това несъответствие.

Различно обучение, различни инстинкти

Всеки проверяващ е изграден по своя собствена рецепта. Някои разчитат на „perplexity“ – мярка за това колко предсказуема е формулировката ви за езиковия модел. Други отчитат „burstiness“ – разнообразието в дължината и структурата на изреченията. Много от тях комбинират тези показатели с класификатори, обучени върху етикетирани примери на човешки и машинен текст, а съдържанието на тези примери определя всичко, което инструментът забелязва впоследствие.

На страницата за детектора на Phrasly се посочва, че обучението му се основава на над 1 милион истински човешки статии – твърдение на доставчика, което си заслужава да се знае, защото илюстрира същността на въпроса: инструмент, обучен предимно върху новинарски статии, ще оцени академично есе по различен начин от такъв, обучен върху студентски текстове. Две програми за проверка могат да прочетат едно и също изречение и да стигнат до различни заключения, защото са се обучавали от различни библиотеки с текстове.

Значението на процента зависи от инструмента

Дори цифрата в заглавието не е стандартна. Един инструмент за проверка отчита вероятността целият текст да е написан от машина. Друг отчита дела на изреченията, които според него са написани от машина. Трети изчислява средната стойност на оценките на изреченията. Всички те показват процент, но не измерват едно и също нещо. Праговете също се различават. Един инструмент може да определи всичко над 50 процента като вероятно написано от машина, докато друг чака да достигне 80, така че един и същ необработен резултат може да получи противоположни етикети.

Ето защо суровите цифри от два източника не могат да се сравняват директно. Обърнете внимание как всеки инструмент описва своя резултат и давайте предимство на онези, които показват подчертани изречения и вероятности. Когато можете да видите изреченията, стоящи зад цифрата, можете да сравните това, което инструментите действително са маркирали, а не етикетите, които са им прикачили.

Актуализациите на моделите оставят пропуски

Инструментите за писане с изкуствен интелект се променят постоянно, а детекторите изостават. Едно обяснение от 2026 г. на Centric DXB описва проблема като „смяна на разпределението“: класификатор, обучен на по-стари модели, губи точност при появата на по-нови, докато не бъде преобучен. Инструмент за проверка, актуализиран миналия месец, и такъв, актуализиран миналата година, могат да обработват едно и също есе по съвсем различен начин. Нищо от това не прави по-старите инструменти за проверка безполезни. Това означава, че трябва да проверявате бележките за последните актуализации на инструмента по същия начин, по който проверявате датата на пускане на дадено приложение, и да приемате липсата на информация като причина за допълнителна предпазливост.

Обхватът също е фактор. Страницата на Phrasly посочва ChatGPT, Claude, Gemini, Perplexity, DeepSeek и Grok сред моделите, към които е насочен инструментът, и поддържа английски, испански, френски и немски език. Инструмент с по-тесен обхват може да пропусне модели, които друг инструмент засича, или да маркира като изкуствен текст, който просто не разбира.

Едно и също есе, прочетено по различен начин

Има и човешката страна на текста. Проучване от 2023 г., ръководено от изследователи от Станфорд, тества седем широко използвани детектора върху 91 есета за TOEFL, написани от хора, за които английският не е майчин език, и средно 61,3% бяха погрешно маркирани като генерирани от ИИ (Liang et al., Patterns, 2023). Простата, внимателна и предсказуема формулировка е това, което инструментът, базиран на перплекситет, третира като „машинна“.

Ако есето ви е написано на втори език, в строго структуриран академичен стил или по стандартен шаблон, очаквайте по-високи резултати и по-голямо несъгласие между инструментите. Това несъгласие не е случайно. То отразява колко чувствителен е всеки детектор към стил на писане, който е типичен за честните автори. Темата също играе роля. Техническото писане, с неговите фиксирани термини и повтарящи се структури, предоставя на детектора по-малко вариации, с които да работи, в сравнение с личните размисли.

Разумен начин за сравняване на резултатите

Когато два инструмента не са съгласни, устойте на изкушението да продължавате да поставяте текста, докато не получите оценка, която ви харесва. Вместо това използвайте план. Не пренебрегвайте дължината. Поставяйте едно и също пълно есе всеки път, защото проверяващият, на когото е дадено само въведението ви, решава различен проблем от този, на когото са дадени десет страници.

• Проверете същия пълен текст, без да правите промени между сканиранията.

• Обърнете внимание как всеки инструмент определя своя резултат.

• Сравнете подчертаните изречения, а не само общите цифри.

• Отбележете всяко изречение, маркирано и от двата инструмента, тъй като това припокриване е най-полезният указател.

• Пренапишете тези редове с нещо конкретно и оригинално, след което изпълнете проверката отново.

Изберете един AI проверяващ като ваша отправна точка и го използвайте последователно, така че промените в оценката да отразяват промени във вашето писане, а не промени в инструмента. Последователността ви дава тенденция, от която можете да се поучите, докато преминаването от един инструмент към друг ви дава само шум. Водете кратък дневник, ако правите това често: дата, инструмент, оценка и кои изречения са били отбелязани. След няколко есета ще разберете как всеки инструмент се държи спрямо вашия стил, което струва повече от което и да е единично четене.

Когато несъгласието е информацията

Ето един момент, който много хора пропускат. Ако два авторитетни инструмента са в рязко несъгласие относно вашия текст, това е доказателство за двусмислие. Текстът се намира в сива зона, която софтуерът не може да разреши, и нито една от двете оценки не заслужава да бъде третирана като доказателство. През 2023 г. OpenAI оттегли своя собствен AI Text Classifier, след като отчете 26 процента истински положителни резултати и 9 процента фалшиви положителни резултати (OpenAI, 2023) – напомняне, че дори екипи с големи ресурси се затрудняват да начертаят ясна граница.

Затова правилният отговор при разминаващи се оценки е да разчитате на собствения си процес. Съхранявайте чернови, конспекти и бележки и бъдете готови да обясните аргументите си със собствени думи. Ако преподавател или редактор попита за резултата, тези записи говорят повече от която и да е единична проверка. Ако трябва да съобщите число на някого, посочете диапазона и имената на инструментите.

Съгласието е рядкост и е полезно да го знаете

Различните инструменти, обучени по различен начин, създадени за различни модели и измерващи леко различни неща, рядко ще дават съвпадащи оценки. Знаейки това, можете да спрете да преследвате едно-единствено „правилно“ число и да започнете да правите нещо по-добро: да четете подчертаните части, да усъвършенствате всяко общо изречение и да водите записи за това как сте писали. Разликата между две програми за проверка не е криза. Тя е подтик да погледнете по-внимателно.

Ако искате да разберете повече за това как се изчисляват оценките за откриване на грешки и къде са техните недостатъци, в блога на Phrasly ще намерите по-подробна информация по тези въпроси.