Uvod
Večina podjetij, ki preizkušajo umetno inteligenco za podporo strankam, naleti na isto oviro. Sistem nekaj tednov deluje brez težav. Nato pa enemu od strank poda samozavesten, a popolnoma napačen odgovor. Morda gre za rok za vračilo denarja. Morda za pravilnik, ki se je spremenil v zadnjem četrtletju. To opazi nekdo iz vodstva in uvedba, ki naj bi pokrila večino čakalne vrste, se tiho ustavi že pri majhnem delu te vrste.
Podatki iz panoge potrjujejo, kako pogost je ta vzorec. Svetovno poročilo o kakovosti za leto 2025, ki so ga pripravili OpenText, Capgemini in Sogeti, je ugotovilo, da so bili pomisleki glede zanesljivosti in »halucinacij« glavna ovira za uvedbo umetne inteligence pri 60 % anketiranih organizacij. Ločena raziskava podjetja Gong je pokazala, da je 58 % podjetij zaustavilo projekte umetne inteligence, pri čemer je skoraj polovico načrtovanih naložb v umetno inteligenco zadržalo ravno pomanjkanje zaupanja in ne proračun. Orodja so zmogljiva. Zaostaja le zaupanje vanje.
Matematika za enim napačnim odgovorom
Delo podpore je asimetrično na način, ki kot merilo kaznuje povprečno natančnost. Pravilen odgovor prihrani nekaj minut. Napačen odgovor pa lahko odobri vračilo, ki nikoli ne bi smelo biti izvršeno, izmisli politiko, ki nikoli ni obstajala, ali sprejme obveznost, ki je nihče ni odobril. Ko negativne posledice ene napake prevladajo nad pozitivnimi učinki sto pravilnih odgovorov, je optimizacija za povprečni primer popolnoma napačen cilj.
Obstaja tudi manj opazen strošek. Vodja podpore, ki enkrat ugotovi, da se umetna inteligenca moti, začne po tem vse dvakrat preverjati, kar izniči večino časa, ki naj bi ga sistem prihranil. Zaupanje se ne ocenjuje po posameznih pogovorih. Gradimo ga ali pa se poruši, in ko se poruši, ekipe prenehajo zaupati sistemu, tudi če je ta večino časa pravilen.
Halucinacije ne izginejo, ampak se jih obvladuje
Celo najmočnejši jezikovni modeli si pod pravimi pogoji izmišljajo, pri čemer so dejanske številke višje, kot večina ljudi domneva. Pri utemeljenem povzemanju, ki je v bistvu enaka naloga kot odgovarjanje iz lastnih dokumentov pomoči, lestvica halucinacij podjetja Vectara uvršča najboljše modele okoli 3 %, znane vodilne modele pa kaže, da se gibljejo med 6 % in 15 %. Nekateri modeli, ki temeljijo na intenzivnem sklepanju, pri isti nalogi presežejo 20 %, saj jim globlje sklepanje daje več prostora za uvajanje trditev, ki jih izvorno besedilo nikoli ni navajalo. Če model soočimo z odprtimi vprašanji, za katera ni nobene podlage, se številke močno poslabšajo. Raziskovalci iz Stanforda so ugotovili, da vodilni modeli halucinirajo pri veliki večini konkretnih pravnih vprašanj, kadar ni na voljo izvornega dokumenta.
Nič od tega ne pomeni, da je kateri koli posamezni model slab. Pomeni pa, da noben model, uporabljen samostojno, ni dovolj zanesljiv, da bi ga lahko ponudili plačljivim strankam brez nadzora.
Inteligenca in nadzor vlečeta v nasprotni smeri
Obstaja strukturni razlog, zakaj posamezni model tega ne more rešiti sam. Ko sistem postaja boljši pri obravnavanju dvoumnih ali neznanih primerov, postane tudi težje v celoti predvideti njegovo delovanje, saj je isto sklepanje, ki mu omogoča obravnavo primera, za katerega ni bil napisan scenarij, tudi tisto, ki ga občasno pripelje tja, kamor ne bi smel. Zmogljivejši model ni avtomatično varnejši. Zaradi tega kompromisa je treba zanesljivost zasnovati kot plast okoli modela, namesto da bi jo pričakovali od modela samega.
Aissist to rešuje s štirimi večplastnimi tehnikami namesto z eno. Oblikovanje navodil določa osnovna pravila, ki jim sledi vsaka naloga, kar je še pomembnejše v agencijskem sistemu, kjer se lahko ena sama zahteva stranke razširi na več kot ducat podnalog, ki morajo vse upoštevati iste varnostne omejitve. V koraku »booster« se negotove odločitve izvedejo večkrat, pri čemer se ohrani odgovor, s katerim se strinja večina agentov, na račun dodatne računske moči. V koraku »self inspection« sistem pregleda lasten izhod ali ga predloži drugemu modelu v drugačni vlogi, preden karkoli doseže stranko. Nad vsem tem pa je nameščen večplastni nadzorni sloj, ki preveri, ali izhod ali dejanje ustreza pravilom, preden se pošlje naprej, pri čemer deluje manj kot filter in bolj kot nadzornik celotnega sistema.
S to kombinacijo platforma ohranja stopnjo napak umetne inteligence pod 1 %, kar je vredno omeniti predvsem zato, ker jo na tem področju objavlja le malo ponudnikov.
Presoja, kdaj ne odgovoriti
Najbolj dragoceno ravnanje pri podporni osebi ni pravilno odgovarjanje na več vprašanj. Je prepoznavanje tistih, na katera ne bi smela poskušati odgovoriti sama. Sistem, ki zapleten spor glede zaračunavanja pravočasno eskalira, skupaj s celotnim kontekstom, povzroči veliko manj škode kot tisti, ki vztraja in ugiba. To je tudi tisto, kar loči podporno osebo, ki opisuje rešitev, od tiste, ki jo dejansko izvede, poišče naročilo, opravi spremembo in jo potrdi stranki.
Zanesljivost je treba ohranjati, ne le vzpostaviti
Sistem, ki je natančen na dan uvedbe, ne bo takšen ostal, če ga nihče ne bo spremljal. Izdelki se spreminjajo, politike se posodabljajo, vprašanja strank pa se spreminjajo skupaj z njimi. Nenehno merjenje te spremembe zazna kot podatke namesto kot val pritožb, discipliniran cikel ocenjevanja, testiranja in izdaje pa nenehno zapira ugotovljene vrzeli, pri čemer človek še vedno odobri spremembe, preden se karkoli dejansko spremeni.
Kaj dejansko preveriti, preden zaupate ponudniku
Vsakega ponudnika, ki trdi, da se njegova umetna inteligenca nikoli ne moti, je treba obravnavati z nezaupanjem, saj to običajno pomeni, da nihče ne meri dovolj natančno, da bi vedel, ali je drugače. Tisti, ki jih je vredno vzeti resno, objavljajo stopnjo napak, natančno pojasnjujejo, kako odkrijejo napake, preden jih opazijo stranke, in so odkriti glede tega, kdaj sistem predaja zadevo človeku, namesto da bi zgolj ugibal. To je povsem drugačen pristop od »zaupajte umetni inteligenci« in je tisti, ki dejansko zdrži, ko ga preizkuša resnični obseg zahtevkov.
