Dlaczego programy sprawdzające oparte na sztucznej inteligencji przyznają różne oceny temu samemu esejowi

Wprowadzenie

Dwie karty przeglądarki, jeden esej i dwie bardzo różne odpowiedzi. Pierwsze narzędzie do sprawdzania podaje wynik 8 procent. Drugie – 61. W tekście nie zmieniło się nic między wklejeniem a wklejeniem, nie edytowałeś ani jednego słowa, a teraz nie wiesz, któremu ekranowi wierzyć.

Żaden z nich nie kłamie. Odpowiadają na pytanie w różny sposób, a zrozumienie tego pozwala opanować panikę w tej chwili. W tym artykule wyjaśniamy, skąd bierze się ta rozbieżność, jak rozsądnie porównywać wyniki i co tak naprawdę oznacza ta rozbieżność.

Różne szkolenia, różne instynkty

Każdy program sprawdzający jest zbudowany według własnej receptury. Niektóre opierają się na wskaźniku „perplexity” – miarze tego, jak przewidywalne jest sformułowanie dla modelu językowego. Inne biorą pod uwagę „burstiness”, czyli różnorodność długości i struktury zdań. Wiele z nich łączy te czynniki z klasyfikatorami wyszkolonymi na oznaczonych przykładach tekstów ludzkich i maszynowych, a to, co zawierają te przykłady, kształtuje wszystko, co narzędzie dostrzega później.

Na stronie poświęconej wykrywaczowi Phrasly podano, że jego szkolenie opiera się na ponad milionie prawdziwych artykułów napisanych przez ludzi – warto zwrócić uwagę na tę informację dostarczoną przez dostawcę, ponieważ ilustruje ona istotną kwestię: narzędzie wyszkolone głównie na artykułach prasowych oceni esej akademicki inaczej niż narzędzie wyszkolone na tekstach studenckich. Dwa narzędzia sprawdzające mogą przeczytać to samo zdanie i dojść do różnych wniosków, ponieważ uczyły się na różnych zbiorach tekstów.

Znaczenie wartości procentowej zależy od narzędzia

Nawet główna liczba nie jest standardowa. Jedno narzędzie podaje prawdopodobieństwo, że cały tekst został napisany przez maszynę. Inne podaje odsetek zdań, które uznaje za napisane przez maszynę. Trzecie uśrednia wyniki zdań. Wszystkie wyświetlają wartość procentową, ale nie mierzą tej samej rzeczy. Różnią się również progi. Jedno narzędzie może uznać wszystko powyżej 50 procent za prawdopodobnie napisane przez maszynę, podczas gdy inne czeka aż do 80, więc identyczny surowy wynik może otrzymać przeciwne oznaczenia.

Dlatego same liczby z dwóch źródeł nie mogą być bezpośrednio porównywane. Zwróć uwagę na to, jak każde narzędzie opisuje swój wynik, i wybieraj te, które pokazują wyróżnione zdania oraz prawdopodobieństwa. Gdy widzisz zdania stojące za liczbą, możesz porównać to, co narzędzia faktycznie zaznaczyły, a nie same przypisane przez nie etykiety.

Aktualizacje modeli pozostawiają luki

Narzędzia do pisania oparte na sztucznej inteligencji nieustannie się zmieniają, a detektory pozostają w tyle. W artykule wyjaśniającym z 2026 r. opublikowanym przez Centric DXB problem ten opisano jako przesunięcie rozkładu: klasyfikator wyszkolony na starszych modelach traci dokładność wraz z pojawieniem się nowszych, dopóki nie zostanie ponownie przeszkolony. Narzędzie zaktualizowane w zeszłym miesiącu i takie zaktualizowane w zeszłym roku mogą zupełnie inaczej radzić sobie z tym samym esejem. Nie oznacza to jednak, że starsze narzędzia są bezużyteczne. Oznacza to, że należy sprawdzać najnowsze informacje o aktualizacjach narzędzia tak samo, jak sprawdza się datę wydania aplikacji, a brak informacji traktować jako powód do zachowania szczególnej ostrożności.

Zasięg jest również istotnym czynnikiem. Strona Phrasly wymienia ChatGPT, Claude, Gemini, Perplexity, DeepSeek i Grok wśród modeli, na których się skupia, i obsługuje języki angielski, hiszpański, francuski oraz niemiecki. Narzędzie o węższym zasięgu może przeoczyć wzorce wykrywane przez inne narzędzie lub oznaczyć tekst napisany przez człowieka, którego po prostu nie rozumie.

Ten sam esej, odczytany na różne sposoby

Istotny jest również ludzki aspekt tekstu. W badaniu z 2023 roku, przeprowadzonym przez naukowców ze Stanford, przetestowano siedem powszechnie stosowanych detektorów na 91 esejach TOEFL napisanych przez osoby, dla których angielski nie jest językiem ojczystym, i średnio 61,3 procent z nich zostało błędnie oznaczonych jako wygenerowane przez sztuczną inteligencję (Liang et al., Patterns, 2023). Proste, ostrożne i przewidywalne sformułowania są tym, co narzędzie oparte na wskaźniku perplexity traktuje jako charakterystyczne dla maszyn.

Jeśli Twój esej jest napisany w języku obcym, w ściśle ustrukturyzowanym stylu akademickim lub oparty na standardowym szablonie, spodziewaj się wyższych wyników i większej rozbieżności między wynikami poszczególnych narzędzi. Ta rozbieżność nie jest przypadkowa. Odzwierciedla ona wrażliwość poszczególnych narzędzi na styl pisania typowy dla uczciwych autorów. Istotną rolę odgrywa również tematyka tekstu. Teksty techniczne, ze swoimi ustalonymi terminami i powtarzającymi się strukturami, dają detektorowi mniej możliwości różnicowania wyników niż osobiste refleksje.

Rozsądny sposób porównywania wyników

Gdy dwa narzędzia nie są zgodne, powstrzymaj się przed pokusą ciągłego wklejania tekstu, aż uzyskasz wynik, który Ci odpowiada. Zamiast tego zastosuj plan. Nie pomijaj długości tekstu. Za każdym razem wklejaj ten sam pełny esej, ponieważ narzędzie sprawdzające, które otrzymuje jedynie wstęp, rozwiązuje inne zadanie niż to, które otrzymuje dziesięć stron.

• Sprawdź ten sam pełny tekst, bez wprowadzania zmian między kolejnymi skanami.

• Zwróć uwagę, w jaki sposób każde narzędzie określa swój wynik.

• Porównaj zaznaczone zdania, a nie tylko ogólne wyniki.

• Zaznacz wszystkie zdania, które zostały zaznaczone przez oba narzędzia, ponieważ to właśnie ta zbieżność stanowi najbardziej przydatną wskazówkę.

• Przepisz te zdania, używając konkretnych i oryginalnych sformułowań, a następnie uruchom narzędzie ponownie.

Wybierz jeden program do sprawdzania oparty na sztucznej inteligencji jako punkt odniesienia i używaj go konsekwentnie, tak aby zmiany w wyniku odzwierciedlały zmiany w Twoim tekście, a nie zmiany w samym narzędziu. Konsekwencja pozwala dostrzec trend, z którego możesz wyciągnąć wnioski, podczas gdy przeskakiwanie między narzędziami generuje tylko szum. Jeśli robisz to często, prowadź krótki dziennik: data, narzędzie, wynik oraz które zdania zostały zaznaczone. Po kilku esejach dowiesz się, jak każde narzędzie zazwyczaj reaguje na Twój styl, co jest warte więcej niż jakakolwiek pojedyncza analiza.

Kiedy rozbieżność jest źródłem informacji

Oto kwestia, którą wiele osób pomija. Jeśli dwa renomowane narzędzia wyraźnie się nie zgadzają co do Twojego tekstu, jest to dowód na jego niejednoznaczność. Tekst znajduje się w szarej strefie, której oprogramowanie nie potrafi rozstrzygnąć, a żadna z tych wartości nie zasługuje na traktowanie jako dowód. W 2023 roku OpenAI wycofało swój własny klasyfikator tekstu oparty na sztucznej inteligencji po zgłoszeniu 26-procentowego wskaźnika wyników prawdziwie pozytywnych i 9-procentowego wskaźnika wyników fałszywie pozytywnych (OpenAI, 2023), co przypomina, że nawet zespoły dysponujące znacznymi zasobami mają trudności z wyznaczeniem jednoznacznej granicy.

Zatem właściwą reakcją na rozbieżny werdykt jest poleganie na własnym procesie tworzenia tekstu. Zachowaj szkice, konspekty i notatki oraz bądź gotowy wyjaśnić swoją argumentację własnymi słowami. Jeśli wykładowca lub redaktor zapyta o wynik, te zapisy będą miały większą wagę niż jakikolwiek pojedynczy skan. Jeśli musisz podać komuś wynik liczbowy, podaj przedział wartości i wymień nazwy narzędzi.

Zgodność wyników jest rzadkością i warto o tym wiedzieć

Różne narzędzia, wyszkolone w różny sposób, stworzone dla różnych modeli i mierzące nieco inne rzeczy, rzadko dają zbieżne wyniki. Świadomość tego pozwala przestać gonić za jedną „prawidłową” liczbą i zacząć robić coś lepszego: zapoznawać się z zaznaczonymi fragmentami, wzmacniać ogólne sformułowania i prowadzić zapis tego, jak piszesz. Różnica między wynikami dwóch narzędzi sprawdzających nie jest kryzysem. To zachęta do dokładniejszego przyjrzenia się tekstowi.

Jeśli chcesz lepiej zrozumieć, w jaki sposób generowane są wyniki wykrywania i gdzie pojawiają się ich ograniczenia, zapoznaj się z artykułami na blogu Phrasly, które dogłębniej analizują te kwestie.