Miksi tekoälyarviointiohjelmat antavat samalle esseelle erilaisia pisteitä

Johdanto

Kaksi selainvälilehteä, yksi essee ja kaksi hyvin erilaista tulosta. Ensimmäinen tarkistustyökalu ilmoittaa 8 prosenttia. Toinen ilmoittaa 61. Tekstissä ei ole tapahtunut muutoksia kopioinnin välillä, et ole muokannut yhtään sanaa, ja nyt et ole varma, kumpaa näyttöä uskoisit.

Kumpikaan ei valehtele. Ne vastaavat kysymykseen eri tavalla, ja kun ymmärrät miksi, paniikki hälvenee. Tässä artikkelissa selitetään, mistä ero johtuu, miten tuloksia verrataan järkevästi ja mitä erimielisyys todella kertoo sinulle.

Erilainen koulutus, erilaiset vaistot

Jokainen tarkistaja on rakennettu omalla reseptillään. Jotkut nojaavat perplexity-arvoon, joka mittaa, kuinka ennustettavissa sanamuotosi on kielimallille. Toiset painottavat burstiness-arvoa, eli lauseiden pituuden ja rakenteen vaihtelevuutta. Monet yhdistävät nämä luokittelijoihin, jotka on koulutettu ihmisten ja koneiden tuottaman tekstin merkityillä esimerkeillä, ja näiden esimerkkien sisältö muokkaa kaikkea, mitä työkalu myöhemmin havaitsee.

Phraslyn tunnistussivulla kerrotaan, että sen koulutuksessa on hyödynnetty yli miljoonaa aitoa ihmisen kirjoittamaa artikkelia. Tämä toimittajan väite on syytä tietää, sillä se havainnollistaa asiaa: pääasiassa uutisartikkeleilla koulutettu työkalu arvioi akateemisen esseen eri tavalla kuin opiskelijoiden kirjoituksilla koulutettu työkalu. Kaksi tarkistustyökalua voi lukea saman lauseen ja päätyä eri johtopäätöksiin, koska ne ovat oppineet eri tekstikokoelmista.

Prosenttiluvun merkitys riippuu käytetystä työkalusta

Edes otsikossa mainittu luku ei ole vakiintunut. Yksi tarkistustyökalu ilmoittaa todennäköisyyden sille, että koko teksti on koneen kirjoittama. Toinen ilmoittaa niiden lauseiden osuuden, jotka se katsoo koneen kirjoittamiksi. Kolmas laskee lauseiden pisteiden keskiarvon. Ne kaikki näyttävät prosenttiluvun, mutta eivät mittaa samaa asiaa. Myös kynnysarvot vaihtelevat. Yksi työkalu saattaa luokitella kaiken yli 50 prosentin todennäköisyydellä koneen kirjoittamaksi, kun taas toinen odottaa 80 prosenttiin asti, joten identtiset raakatulokset voivat saada vastakkaiset luokitukset.

Siksi kahden lähteen pelkkää lukua ei voi verrata suoraan keskenään. Tutki, miten kukin työkalu kuvaa tulostaan, ja valitse mieluummin ne, jotka näyttävät korostetut lauseet ja todennäköisyydet. Kun näet luvun taustalla olevat lauseet, voit verrata sitä, mitä työkalut todellisuudessa merkitsivät, sen sijaan että vertaisit niiden antamia luokituksia.

Mallipäivitykset jättävät aukkoja

Tekoälykirjoitustyökalut muuttuvat jatkuvasti, ja tunnistimet jäävät jälkeen. Eräässä Centric DXB:n vuonna 2026 julkaisemassa selityksessä ongelmaa kuvataan jakauman muutokseksi: vanhemmilla malleilla koulutettu luokittelija menettää tarkkuuttaan uusien mallien tullessa markkinoille, kunnes se koulutetaan uudelleen. Viime kuussa päivitetty tarkistustyökalu ja viime vuonna päivitetty työkalu voivat käsitellä samaa esseetä hyvin eri tavoin. Tämä ei tarkoita, että vanhemmat tarkistustyökalut olisivat hyödyttömiä. Se tarkoittaa, että sinun tulisi tarkistaa työkalun viimeisimmät päivitystiedot samalla tavalla kuin tarkistaisit sovelluksen julkaisupäivän, ja pitää tiedon puuttumista syynä erityiseen varovaisuuteen.

Myös kattavuus on tekijä. Phraslyn sivulla mainitaan ChatGPT, Claude, Gemini, Perplexity, DeepSeek ja Grok sen kohdemalleina, ja se tukee englantia, espanjaa, ranskaa ja saksaa. Kattavuudeltaan kapeampi työkalu saattaa jättää huomaamatta malleja, jotka toinen työkalu havaitsee, tai merkitä ihmisen kirjoittaman tekstin virheelliseksi, koska se ei yksinkertaisesti ymmärrä sitä.

Sama essee, eri tulkinnat

Tekstissä on myös inhimillinen puoli. Vuonna 2023 Stanfordin tutkijoiden johtamassa tutkimuksessa testattiin seitsemää laajalti käytettyä tunnistinta 91:llä englannin kieltä äidinkielenään puhuvien kirjoittamalla TOEFL-esseellä, ja keskimäärin 61,3 prosenttia niistä luokiteltiin virheellisesti tekoälyn tuottamiksi (Liang et al., Patterns, 2023). Selkeä, huolellinen ja ennustettava sanamuoto on se, mitä perplexity-pohjainen työkalu pitää koneen kaltaisena.

Jos essee on kirjoitettu vieraalla kielellä, tiukasti jäsennellyllä akateemisella tyylillä tai vakiomallin pohjalta, on odotettavissa korkeampia pisteitä ja enemmän erimielisyyttä tunnistimien välillä. Erimielisyys ei ole satunnaista. Se heijastaa sitä, kuinka herkkä kukin tunnistin on kirjoitustyylille, joka on yleistä rehellisten kirjoittajien keskuudessa. Myös aihe vaikuttaa asiaan. Teknisessä kirjoittamisessa, jossa on vakiintuneita termejä ja toistuvia rakenteita, tunnistimella on vähemmän vaihtelua käsiteltävänä kuin henkilökohtaisessa pohdinnassa.

Järkevä tapa vertailla tuloksia

Kun kaksi työkalua on eri mieltä, vastusta kiusausta liittää tekstiä uudelleen ja uudelleen, kunnes saat haluamasi pisteet. Käytä sen sijaan suunnitelmaa. Älä unohda tekstin pituutta. Liitä joka kerta sama kokonainen essee, sillä tarkistaja, jolle annetaan vain johdanto, ratkaisee eri ongelmaa kuin se, jolle annetaan kymmenen sivua.

• Tarkista sama kokoteksti ilman muokkauksia tarkistusten välillä.

• Huomaa, miten kukin työkalu määrittelee pisteytyksensä.

• Vertaa korostettuja lauseita pikemminkin kuin otsikkolukuja.

• Merkitse kaikki lauseet, jotka molemmat työkalut ovat merkinneet, sillä tämä päällekkäisyys on hyödyllisin vihje.

• Kirjoita kyseiset lauseet uudelleen konkreettisemmiksi ja omaperäisemmiksi, ja suorita sitten tarkistus uudelleen.

Valitse yksi tekoälytarkistaja vertailukohdaksesi ja käytä sitä johdonmukaisesti, jotta pisteiden muutokset heijastavat kirjoituksesi muutoksia eikä työkalun muutoksia. Johdonmukaisuus antaa sinulle trendin, josta voit oppia, kun taas työkalujen välillä hyppiminen tuottaa vain häiriötä. Pidä pientä lokia, jos teet tätä usein: päivämäärä, työkalu, pisteet ja mitkä lauseet korostuivat. Muutaman esseen jälkeen tiedät, miten kukin työkalu yleensä reagoi kirjoitustyyliisi, mikä on arvokkaampaa kuin mikään yksittäinen lukukerta.

Kun erimielisyys on tietoa

Tässä on seikka, jonka monet jättävät huomiotta. Jos kaksi luotettavaa työkalua on jyrkästi eri mieltä tekstistäsi, se on osoitus epäselvyydestä. Teksti sijoittuu harmaalle alueelle, jota ohjelmisto ei pysty ratkaisemaan, eikä kumpaakaan lukemaa kannata pitää todisteena. Vuonna 2023 OpenAI vetäytyi omasta AI Text Classifier -työkalustaan ilmoitettuaan 26 prosentin oikeiden positiivisten osuuden ja 9 prosentin väärien positiivisten osuuden (OpenAI, 2023), mikä muistuttaa siitä, että jopa resurssirikkaat tiimit kamppailevat selkeän rajan vetämisessä.

Oikea tapa reagoida ristiriitaiseen tulokseen on siis luottaa omaan prosessiisi. Säilytä luonnokset, pääkohdat ja muistiinpanot ja ole valmis selittämään argumenttisi omilla sanoillasi. Jos opettaja tai toimittaja kysyy tuloksesta, nämä muistiinpanot puhuvat enemmän kuin mikään yksittäinen skannaus. Jos sinun on ilmoitettava jollekin luku, ilmoita vaihteluväli ja mainitse käytetyt työkalut.

Yksimielisyys on harvinaista, ja se on hyvä tietää

Eri työkalut, jotka on koulutettu eri tavoin, rakennettu eri malleja varten ja jotka mittaavat hieman erilaisia asioita, tuottavat harvoin täsmälleen samat pisteet. Kun tiedät tämän, voit lopettaa yhden ainoan oikean luvun jahtaamisen ja ryhtyä tekemään jotain parempaa: lukea korostetut kohdat, vahvistaa yleisiä lauseita ja pitää kirjaa siitä, miten kirjoitit. Kahden tarkistustyökalun välinen ero ei ole kriisi. Se on kehotus tarkastella asiaa tarkemmin.

Jos haluat ymmärtää paremmin, miten tunnistustulokset muodostuvat ja missä niiden puutteet ovat, Phrasly-blogin lisäartikkeleissa käsitellään näitä kysymyksiä syvällisemmin.