Чому програми перевірки на плагіат на основі штучного інтелекту виставляють різні оцінки за один і той самий твір

Вступ

Дві вкладки браузера, один твір і дві дуже різні відповіді. Перший сервіс показує 8 відсотків. Другий — 61. У тексті нічого не змінилося між вставками, ви не редагували жодного слова, і тепер не знаєте, якому екрану вірити.

Жоден із них не бреше. Вони по-різному відповідають на запитання, і розуміння цього допомагає позбутися паніки в цей момент. У цій статті пояснюється, звідки береться ця розбіжність, як розумно порівнювати результати та що насправді означає така розбіжність.

Різне навчання, різні інстинкти

Кожен перевіряючий інструмент побудований за власним алгоритмом. Деякі спираються на показник «perplexity» — міру того, наскільки передбачуваним є ваше формулювання для мовної моделі. Інші враховують «burstiness» — різноманітність довжини та структури речень. Багато з них поєднують ці показники з класифікаторами, навченими на мічених прикладах текстів, написаних людьми та машинами, і саме те, що містять ці приклади, визначає все, що інструмент помічає згодом.

На сторінці детектора Phrasly зазначено, що його навчання базується на понад 1 мільйоні реальних статей, написаних людьми — про це варто знати, оскільки це ілюструє суть: інструмент, навчений переважно на новинах, оцінюватиме академічний твір інакше, ніж той, що навчався на студентських роботах. Два перевіряльники можуть прочитати одне й те саме речення та дійти різних висновків, оскільки вони навчалися на різних бібліотеках текстів.

Що означає цей відсоток, залежить від інструменту

Навіть основна цифра не є стандартною. Один перевіряючий інструмент повідомляє ймовірність того, що весь текст написаний машиною. Інший — частку речень, які, на його думку, написані машиною. Третій — усереднює оцінки речень. Усі вони показують відсоток, але вимірюють не одне й те саме. Порогові значення також різняться. Один інструмент може визнати все, що перевищує 50 відсотків, ймовірним результатом машинного написання, тоді як інший чекає, поки показник досягне 80, тому однакові вихідні дані можуть отримати протилежні позначки.

Саме тому сухі цифри з двох джерел не можна порівнювати безпосередньо. Зверніть увагу на те, як кожен інструмент описує свій результат, і віддавайте перевагу тим, що показують виділені речення та ймовірності. Коли ви бачите речення, що стоять за цифрою, ви можете порівняти те, що інструменти насправді позначили, а не самі мітки, які вони присвоїли.

Оновлення моделей залишають прогалини

Інструменти для написання текстів на основі штучного інтелекту постійно змінюються, а детектори відстають. У пояснювальній статті Centric DXB за 2026 рік цю проблему описано як зсув розподілу: класифікатор, навчений на старих моделях, втрачає точність із появою нових, доки його не перенавчать. Інструмент, оновлений минулого місяця, та той, що оновлювався минулого року, можуть по-різному обробляти один і той самий текст. Це не означає, що старі інструменти стали марними. Це означає, що вам слід перевіряти останні нотатки про оновлення інструменту так само, як ви перевіряєте дату випуску додатка, і сприймати відсутність інформації як привід для додаткової обережності.

Важливим фактором є також охоплення. На сторінці Phrasly серед моделей, на які він орієнтований, зазначені ChatGPT, Claude, Gemini, Perplexity, DeepSeek та Grok, а також підтримуються англійська, іспанська, французька та німецька мови. Інструмент із вужчим охопленням може пропустити шаблони, які виявляє інший, або позначати як підробку текст, написаний людиною, який він просто не розуміє.

Один і той самий твір, прочитаний по-різному

Є ще й людська сторона тексту. У дослідженні 2023 року, проведеному під керівництвом вчених зі Стенфорда, було протестовано сім широко використовуваних детекторів на 91 есе TOEFL, написаних людьми, для яких англійська не є рідною мовою, і в середньому 61,3 % з них було помилково позначено як створені ШІ (Liang et al., Patterns, 2023). Прості, обережні та передбачувані формулювання — саме це інструмент, що базується на показнику «perplexity», розцінює як «машинний».

Якщо ваше есе написано другою мовою, у суворо структурованому академічному стилі або за стандартним шаблоном, очікуйте вищих оцінок і більшої розбіжності між інструментами. Ця розбіжність не є випадковою. Вона відображає, наскільки чутливий кожен детектор до стилю письма, поширеного серед чесних авторів. Тематика також відіграє свою роль. Технічне письмо, з його фіксованими термінами та повторюваними структурами, надає детектору менше варіацій для аналізу, ніж особисті роздуми.

Розумний спосіб порівняння результатів

Коли два інструменти не збігаються, не піддавайтеся спокусі вставляти текст знову і знову, доки не отримаєте бажаний результат. Натомість дотримуйтесь плану. Не нехтуйте обсягом тексту. Вставляйте щоразу одне й те саме повне есе, адже програма, якій надано лише вступ, вирішує іншу задачу, ніж та, якій надано десять сторінок.

• Перевірте той самий повний текст, не вносячи змін між перевірками.

• Зверніть увагу, як кожен інструмент визначає свій показник.

• Порівнюйте виділені речення, а не загальні цифри.

• Позначте будь-яке речення, яке було позначене обома інструментами, оскільки саме це збіг є найкориснішою підказкою.

• Перепишіть ці рядки, використовуючи конкретні та оригінальні формулювання, а потім запустіть перевірку знову.

Виберіть один ШІ-перевіряч як базовий і використовуйте його послідовно, щоб зміни в оцінці відображали зміни у вашому письмі, а не зміни в інструменті. Послідовність дає вам тенденцію, з якої ви можете вчитися, тоді як перемикання між інструментами створює лише шум. Якщо ви робите це часто, ведіть невеликий журнал: дату, інструмент, оцінку та речення, які викликали зауваження. Після кількох есе ви зрозумієте, як кожен інструмент зазвичай реагує на ваш стиль, що цінніше за будь-яке окреме прочитання.

Коли розбіжність є інформацією

Ось момент, який багато хто пропускає. Якщо два авторитетні інструменти різко розходяться в оцінці вашого тексту, це свідчить про неоднозначність. Текст перебуває в сірій зоні, яку програмне забезпечення не може вирішити, і жоден із показників не заслуговує на те, щоб його розглядати як доказ. У 2023 році OpenAI вивела з обігу власний AI Text Classifier після того, як повідомила про 26-відсотковий рівень істинних позитивних результатів та 9-відсотковий рівень хибних позитивних результатів (OpenAI, 2023) — це нагадування про те, що навіть команди з великими ресурсами мають труднощі з тим, щоб провести чітку межу.

Тож правильна реакція на розбіжність у висновках — покладатися на власний робочий процес. Зберігайте чернетки, плани та нотатки й будьте готові пояснити свою аргументацію своїми словами. Якщо викладач чи редактор запитає про оцінку, ці записи скажуть більше, ніж будь-яке окреме сканування. Якщо вам доводиться повідомляти комусь числове значення, вкажіть діапазон і назвіть інструменти.

Збіг оцінок трапляється рідко, і це корисно знати

Різні інструменти, навчені по-різному, створені для різних моделей і вимірюють дещо різні речі, рідко дають збіжні оцінки. Знання цього дозволяє вам перестати гнатися за єдиним правильним числом і почати робити щось краще: читати виділені фрагменти, вдосконалювати будь-яке загальне речення та вести записи про те, як ви писали. Розбіжність між двома перевіряючими системами — це не криза. Це привід придивитися уважніше.

Якщо ви хочете краще зрозуміти, як формуються оцінки виявлення помилок і в чому їхні недоліки, у блозі Phrasly ви знайдете більш детальний аналіз цих питань.