Proč programy na kontrolu esejí pomocí umělé inteligence udělují stejnému textu odlišná hodnocení

Úvod

Dvě záložky v prohlížeči, jedna esej a dvě velmi odlišné odpovědi. První kontrolní nástroj uvádí 8 procent. Druhý uvádí 61. V textu se mezi vložením nic nezměnilo, neupravili jste ani slovo, a teď si nejste jisti, které obrazovce máte věřit.

Ani jeden z nich nelže. Na otázku odpovídají odlišně a pochopení toho, proč tomu tak je, vám pomůže zbavit se paniky. Tento článek vysvětluje, odkud tento rozdíl pochází, jak rozumně porovnávat výsledky a co vám tento nesoulad ve skutečnosti sděluje.

Různé trénování, různé instinkty

Každý kontrolní nástroj je postaven na vlastním receptu. Některé se opírají o „perplexitu“, což je míra toho, jak předvídatelná je vaše formulace pro jazykový model. Jiné zohledňují „burstiness“, tedy rozmanitost délky a struktury vět. Mnohé kombinují tyto faktory s klasifikátory trénovanými na označených příkladech lidského a strojového textu, a to, co tyto příklady obsahují, utváří vše, čeho si nástroj později všimne.

Stránka detektoru Phrasly uvádí, že jeho trénink čerpá z více než 1 milionu skutečných lidských článků – toto tvrzení poskytovatele stojí za zmínku, protože ilustruje následující bod: nástroj trénovaný převážně na novinových článcích bude akademickou esej posuzovat jinak než ten, který byl trénován na studentských textech. Dva kontrolní nástroje mohou přečíst stejnou větu a dojít k odlišným závěrům, protože se učily z různých knihoven textů.

Co dané procento znamená, závisí na nástroji

Ani hlavní číslo není standardizované. Jeden kontrolní nástroj uvádí pravděpodobnost, že celý text je napsán strojem. Jiný uvádí podíl vět, o nichž se domnívá, že jsou napsány strojem. Třetí počítá průměr skóre vět. Všechny zobrazují procentuální hodnotu, ale neměří totéž. Liší se i prahové hodnoty. Jeden nástroj může označit cokoli nad 50 procent jako pravděpodobně napsané strojem, zatímco jiný čeká až na 80 procent, takže identický surový výstup může vést k opačným označením.

Proto nelze pouhá čísla ze dvou zdrojů přímo porovnávat. Podívejte se, jak každý nástroj popisuje své skóre, a upřednostňujte ty, které zobrazují zvýrazněné věty a pravděpodobnosti. Když vidíte věty, které za číslem stojí, můžete porovnávat to, co nástroje skutečně označily, a ne jen štítky, které k nim přiřadily.

Aktualizace modelů zanechávají mezery

Nástroje pro psaní s využitím umělé inteligence se neustále mění a detekční nástroje za nimi zaostávají. Jeden článek z roku 2026 od Centric DXB popisuje tento problém jako posun distribuce: klasifikátor trénovaný na starších modelech ztrácí přesnost, jakmile se objeví novější modely, a to až do doby, než je znovu trénován. Kontrola aktualizovaná minulý měsíc a ta z loňského roku mohou stejnou esej zpracovat velmi odlišně. To však neznamená, že starší kontroly jsou k ničemu. Znamená to, že byste měli zkontrolovat poznámky k nejnovější aktualizaci nástroje stejně, jako byste zkontrolovali datum vydání aplikace, a mlčení považovat za důvod k větší opatrnosti.

Důležitým faktorem je také rozsah pokrytí. Stránka Phrasly uvádí mezi modely, na které se zaměřuje, ChatGPT, Claude, Gemini, Perplexity, DeepSeek a Grok, a podporuje angličtinu, španělštinu, francouzštinu a němčinu. Nástroj s užším rozsahem pokrytí může přehlédnout vzorce, které jiný nástroj zachytí, nebo označit lidský text, kterému prostě nerozumí.

Stejný esej, čtený jinak

Je tu také lidská stránka textu. Studie z roku 2023 vedená výzkumníky ze Stanfordu otestovala sedm široce používaných detektorů na 91 esejích z testu TOEFL od autorů, pro které angličtina není mateřským jazykem, a v průměru 61,3 procenta z nich bylo nesprávně označeno jako generované umělou inteligencí (Liang et al., Patterns, 2023). Jednoduché, opatrné a předvídatelné formulace jsou tím, co nástroj založený na perplexitě považuje za strojový styl.

Pokud je vaše esej napsána v cizím jazyce, ve velmi strukturovaném akademickém stylu nebo podle standardní šablony, očekávejte vyšší skóre a větší nesoulad mezi jednotlivými nástroji. Tento nesoulad není náhodný. Odráží to, jak citlivý je každý detektor na styl psaní, který je běžný u poctivých autorů. Svou roli hraje i téma. Technické texty s pevně danými termíny a opakujícími se strukturami nabízejí detektoru méně variací, se kterými může pracovat, než osobní úvahy.

Rozumný způsob porovnání výsledků

Pokud se dva nástroje neshodnou, odolejte pokušení vkládat text znovu a znovu, dokud nezískáte číslo, které se vám líbí. Místo toho použijte plán. Nepřehlížejte délku textu. Vkládejte pokaždé stejnou celou esej, protože kontrola, které je k dispozici pouze úvod, řeší jiný problém než ta, která má k dispozici deset stránek.

• Zkontrolujte stejný plný text, aniž byste mezi jednotlivými kontrolami prováděli úpravy.

• Všimněte si, jak každý nástroj definuje své skóre.

• Porovnávejte zvýrazněné věty spíše než celková čísla.

• Označte všechny věty, na které upozornily oba nástroje, protože právě tento překryv je nejužitečnějším vodítkem.

• Tyto věty přepište konkrétnějším a originálnějším textem a poté test zopakujte.

Vyberte si jeden AI kontrolor jako výchozí bod a používejte ho důsledně, aby změny ve skóre odrážely změny ve vašem psaní, nikoli změny v nástroji. Důslednost vám poskytne trend, ze kterého se můžete poučit, zatímco přeskakování mezi nástroji vám přinese jen šum. Pokud to děláte často, veďte si malý záznam: datum, nástroj, skóre a které věty se zvýraznily. Po několika esejích budete vědět, jak se každý nástroj chová vůči vašemu stylu, což má větší hodnotu než jakékoli jednotlivé přečtení.

Když je neshoda sama o sobě informací

Tady je bod, který mnoho lidí přehlíží. Pokud se dva renomované nástroje ve vašem textu výrazně neshodnou, je to důkaz nejednoznačnosti. Text se nachází v šedé zóně, kterou software nedokáže vyřešit, a ani jedno z čísel si nezaslouží být považováno za důkaz. V roce 2023 společnost OpenAI stáhla svůj vlastní AI Text Classifier poté, co oznámila 26% míru pravdivých pozitiv a 9% míru falešných pozitiv (OpenAI, 2023), což nám připomíná, že i týmy s velkými zdroji mají potíže s vytyčením jasné hranice.

Správnou reakcí na rozporuplný verdikt je tedy spolehnout se na svůj vlastní postup. Uchovávejte si koncepty, osnovy a poznámky a buďte připraveni vysvětlit svou argumentaci vlastními slovy. Pokud se vás lektor nebo redaktor zeptá na skóre, tyto záznamy budou mít větší váhu než jakýkoli jednotlivý sken. Pokud musíte někomu sdělit číslo, uveďte rozsah a názvy nástrojů.

Shoda je vzácná, a je užitečné to vědět

Různé nástroje, trénované odlišně, vytvořené pro různé modely a měřící mírně odlišné věci, zřídka vyprodukují shodná skóre. Vědomí této skutečnosti vám umožní přestat honit jediné správné číslo a začít dělat něco lepšího: číst zvýrazněné pasáže, vylepšovat obecné věty a vést si záznamy o tom, jak jste text napsali. Rozdíl mezi dvěma kontrolními nástroji není krize. Je to podnět k tomu, abyste se na text podívali podrobněji.

Pokud byste chtěli lépe porozumět tomu, jak se skóre detekce vypočítávají a v čem mají své nedostatky, další články na blogu Phrasly se těmito otázkami zabývají podrobněji.