Sissejuhatus
Enamik ettevõtteid, kes katsetavad tehisintellekti klienditoes, põrkuvad samale takistusele. Süsteem töötab nädalaid hästi. Siis annab see ühele kliendile kindla, kuid täiesti vale vastuse. Võib-olla seoses tagasimakse tähtajaga. Võib-olla seoses eelmises kvartalis muutunud eeskirjaga. Keegi juhtkonnast märkab seda ja kasutuselevõtt, mis pidi hõlmama enamiku järjekorrast, peatub vaikselt vaid murdosa ulatuses.
Tööstusharu andmed kinnitavad, kui levinud see muster on. OpenText Capgemini ja Sogeti 2025. aasta maailma kvaliteediaruandest selgus, et usaldusväärsuse ja eksimustega seotud mured olid 60% küsitletud organisatsioonide jaoks peamine takistus tehisintellekti kasutuselevõtul. Gongi eraldi uuringust selgus, et 58% ettevõtetest oli tehisintellekti projektid peatatud ja peaaegu pool kavandatud tehisintellekti investeeringutest jäi tegemata pigem usaldusprobleemide kui eelarve tõttu. Vahendid on võimekad. Usaldus nende vastu on see, mis maha jääb.
Ühe vale vastuse taga peituv matemaatika
Klienditoe töö on asümmeetriline viisil, mis karistab keskmist täpsust kui mõõdikut. Õige vastus säästab paar minutit. Vale vastus võib heaks kiita tagasimakse, mida poleks tohtinud teha, leiutada eeskirja, mida pole kunagi olnud, või võtta kohustuse, mida keegi pole volitanud. Kui ühe vea negatiivne mõju kaalub üles saja õige vastuse positiivse mõju, on keskmise juhtumi optimeerimine täiesti vale eesmärk.
On ka varjatumaid kulusid. Klienditoe juht, kes märkab, et tehisintellekt eksib korra, hakkab pärast seda kõike topeltkontrollima, mis nullib suurema osa ajast, mida see oleks pidanud säästma. Usaldust ei hinnata iga vestluse kaupa. See kas kasvab või variseb kokku, ja kui see kokku variseb, lakkavad meeskonnad süsteemi usaldamast isegi siis, kui see on enamasti õige.
Hallutsinatsioonid ei kao, neid saab hallata
Isegi kõige tugevamad keelemudelid leiutavad õigete tingimuste korral, ja tegelikud arvud on kõrgemad, kui enamik inimesi eeldab. Põhjaliku kokkuvõtte puhul – mis on sisuliselt sama ülesanne kui vastamine omaenda abidokumentide põhjal – paigutab Vectara hallutsinatsioonide edetabel parimad mudelid umbes 3% juurde ja näitab, et tuntud lipulaevmudelid kogunevad vahemikku 6% kuni 15%. Mõned põhjalikku järeldamist nõudvad mudelid ületavad sama ülesande puhul 20%, sest sügavam järeldamine annab neile rohkem ruumi esitada väiteid, mida alliktekstis kunagi ei olnud. Kui mudelit sundida vastama avatud küsimustele, millel puudub mis tahes alus, muutuvad näitajad palju halvemaks. Stanfordi teadlased leidsid, et juhtivad mudelid tekitavad hallutsinatsioone suurel enamusel konkreetsetest juriidilistest küsimustest, kui allikadokumenti ei ole esitatud.
See ei tähenda, et mõni konkreetne mudel oleks halb. See tähendab, et ükski mudel, mida kasutatakse eraldi, ei ole piisavalt usaldusväärne, et seda maksvatele klientidele pakkuda ilma, et keegi seda jälgiks.
Intelligentsus ja kontroll tõmbavad vastassuundades
On struktuuriline põhjus, miks üksik mudel ei suuda seda üksi lahendada. Mida paremini süsteem hakkab toime tulema ebamääraste või tundmatute juhtumitega, seda raskem on seda täielikult ennustada, sest sama mõttekäik, mis võimaldab tal toime tulla juhtumiga, mida keegi ei ole ette kirjutanud, on ka see mõttekäik, mis viib ta aeg-ajalt sinna, kuhu ta minna ei peaks. Võimekam mudel ei ole automaatselt ka turvalisem. See kompromiss on põhjus, miks usaldusväärsust tuleb kujundada mudeli ümber asuva kihina, mitte oodata seda mudelilt iseenesest.
Aissist läheneb sellele nelja kihilise tehnikaga, mitte ühega. Prompt-insenerlus määrab kindlaks baasreeglid, millest iga ülesanne lähtub, mis on eriti oluline agendipõhises süsteemis, kus üksainus kliendi taotlus võib laieneda enam kui tosinaks alülesandeks, mis kõik peavad järgima samu piiranguid. Booster-etapp käivitab ebakindlad otsused mitu korda ja säilitab vastuse, millega enamik agente nõustub, kuigi see nõuab lisaressursse. Enesekontrolli etappis vaatab süsteem oma väljundi üle või edastab selle teisele mudelile, mis täidab teistsugust rolli, enne kui miski jõuab kliendini. Kõige selle kohal asub mitmekihiline juhtimiskih, mis kontrollib enne väljastamist, kas väljund või tegevus vastab eeskirjadele, toimides pigem kogu süsteemi järelevalvajana kui filtri rollis.
Just selle kombinatsiooni abil hoiab platvorm oma tehisintellekti veamäära alla 1% – see number on märkimisväärne peamiselt seetõttu, et selles valdkonnas avaldab seda üldse vaid väga vähe tarnijaid.
Otsustamine, millal mitte vastata
Klienditoeagendi kõige väärtuslikum käitumine ei seisne selles, et ta vastab rohkem küsimustele õigesti. See seisneb selles, et ta oskab ära tunda, millistele küsimustele ta ei peaks üksi vastama. Süsteem, mis suunab keerulise arveldusvaidluse varakult edasi koos kogu kontekstiga, tekitab palju vähem kahju kui süsteem, mis jätkab ise ja hakkab oletama. See on ka see, mis eristab agenti, kes kirjeldab lahendust, sellest, kes seda tegelikult rakendab – otsib tellimuse üles, teeb muudatuse ja kinnitab selle kliendile.
Usaldusväärsust tuleb säilitada, mitte ainult luua
Süsteem, mis on käivitamispäeval täpne, ei jää selliseks, kui seda keegi ei jälgi. Tooted muutuvad, eeskirjad uuendatakse ja klientide küsimused muutuvad koos nendega. Pidev mõõtmine tabab need muutused andmetena, mitte kaebuste laineina, ning distsiplineeritud hindamis-, testimis- ja väljalasketsükkel täidab leitud lüngad, kusjuures inimene annab ikkagi lõpliku heakskiidu, enne kui midagi tegelikult muutub.
Mida tegelikult kontrollida enne tarnija usaldamist
Iga tarnijat, kes väidab, et tema tehisintellekt ei tee kunagi vigu, tuleks vaadelda kahtlusega, sest see tähendab tavaliselt, et keegi ei mõõda piisavalt täpselt, et teada saada, kas see on tõsi. Need, keda tasub tõsiselt võtta, avaldavad veamäära, selgitavad täpselt, kuidas nad tabavad vigu enne, kui kliendid neid märkavad, ning on ausad selle suhtes, millal süsteem annab asja üle inimesele, selle asemel et ise oletada. See on hoopis teistsugune müügipitch kui „usaldage tehisintellekti“, ja just see peab tegelikult vastu, kui süsteemile saabub tõeline päringute maht.
