Bevezető
A legtöbb vállalat, amely az ügyfélszolgálatban teszteli a mesterséges intelligenciát, ugyanazzal a problémával szembesül. A rendszer hetekig jól működik. Aztán egy ügyfélnek magabiztos, de teljesen téves választ ad. Lehet, hogy a visszatérítési határidőről van szó. Lehet, hogy egy olyan szabályzatról, amely az elmúlt negyedévben változott. Valaki a vezetőségből észreveszi ezt, és a bevezetés, amelynek célja az volt, hogy a várólista nagy részét lefedje, csendben leáll a várólista egy kis részénél.
Az iparági adatok alátámasztják, mennyire gyakori ez a mintázat. Az OpenText Capgemini és a Sogeti 2025-ös World Quality Report című jelentése megállapította, hogy a megbízhatósággal és a téves információkkal kapcsolatos aggályok a megkérdezett szervezetek 60%-a számára a mesterséges intelligencia bevezetésének legfőbb akadályát jelentették. A Gong egy másik kutatása szerint a vállalatok 58%-a állította le mesterséges intelligencia-projekteit, és a tervezett mesterséges intelligencia-beruházások közel felét nem a költségvetés, hanem a bizalmi aggályok miatt függesztették fel. Az eszközök képesek a feladatra. A bizalom az, ami lemarad.
Egy rossz válasz mögötti matematika
Az ügyfélszolgálati munka olyan aszimmetrikus, hogy az átlagos pontosságot mint mérőszámot hátrányosan értékeli. Egy helyes válasz néhány percet takarít meg. Egy helytelen válasz viszont jóváhagyhat egy olyan visszatérítést, amelyet soha nem kellett volna kifizetni, kitalálhat egy soha nem létezett szabályzatot, vagy olyan kötelezettségvállalást tehet, amelyet senki sem engedélyezett. Amikor egy hiba hátránya meghaladja száz helyes válasz előnyét, az átlagos esetre való optimalizálás teljesen téves cél.
Van egy kevésbé szembetűnő költség is. Az a támogatási vezető, aki egyszer rajtakapja az AI-t hibán, azután mindent kétszer ellenőrizni kezd, ami elszívja a legtöbb időt, amit az AI-nek meg kellett volna takarítania. A bizalom nem beszélgetésenként kerül értékelésre. Felépül vagy összeomlik, és ha egyszer összeomlik, a csapatok már akkor sem bíznak a rendszerben, ha az a legtöbb esetben helyes döntéseket hoz.
A hallucinációk nem tűnnek el, hanem kezelni kell őket
Még a legerősebb nyelvi modellek is kitalálnak dolgokat megfelelő körülmények között, és a valós számok magasabbak, mint amit a legtöbb ember feltételez. A megalapozott összefoglalás esetében – ami lényegében ugyanaz a feladat, mint a saját súgódokumentumokból való válaszadás – a Vectara hallucinációs ranglistája a legjobb modelleket 3% körül helyezi el, míg a jól ismert zászlóshajó modellek 6% és 15% között csoportosulnak. Egyes, erősen érvelésalapú modellek ugyanazon feladatnál meghaladják a 20%-ot, mert a mélyebb érvelés több teret ad nekik olyan állítások bevezetésére, amelyeket a forrás szöveg soha nem fogalmazott meg. Ha egy modellt olyan nyitott kérdések elé állítunk, amelyekhez nincs semmi, ami alátámasztaná, az adatok sokkal rosszabbak lesznek. A Stanford-i kutatók azt találták, hogy a vezető modellek a konkrét jogi kérdések nagy többségénél hallucinálnak, ha nem biztosítanak forrásdokumentumot.
Ez egyáltalán nem jelenti azt, hogy bármelyik modell is rossz lenne. Azt jelenti, hogy egyetlen modell sem elég megbízható ahhoz, hogy fizető ügyfelek előtt alkalmazzák anélkül, hogy valami felügyelné.
Az intelligencia és az ellenőrzés ellentétes irányba húz
Van egy strukturális ok, amiért egy modell önmagában nem képes ezt megoldani. Ahogy egy rendszer egyre jobban kezeli a kétértelmű vagy ismeretlen eseteket, úgy válik egyre nehezebbé is teljes mértékben előre jelezni a viselkedését, mert ugyanaz a gondolkodásmód, amely lehetővé teszi számára, hogy olyan esetet kezeljen, amelyre senki sem írt forgatókönyvet, az az, amely időnként olyan helyre vezeti, ahová nem kellene. Egy képzettebb modell nem feltétlenül jelent nagyobb biztonságot. Ez a kompromisszum miatt a megbízhatóságot a modell köré épített rétegként kell kialakítani, ahelyett, hogy azt magától a modelltől várnánk el.
Az Aissist ezt nem egy, hanem négy rétegű technikával közelíti meg. A prompt-tervezés határozza meg az alapvető szabályokat, amelyeknek minden feladatnak meg kell felelnie; ez különösen fontos egy ügynökalapú rendszerben, ahol egy egyetlen ügyfélkérés több mint egy tucat alfeladatra bontható, amelyeknek mindegyikének be kell tartania ugyanazokat a korlátokat. A „booster” lépés a bizonytalan döntéseket többször is lefuttatja, és megtartja azt a választ, amelyben a legtöbb ügynök egyetért – még ha ez többlet számítási erőforrásba is kerül. Az önellenőrzési lépés során a rendszer felülvizsgálja saját kimenetét, vagy átadja azt egy másik szerepet betöltő második modellnek, mielőtt bármi eljutna az ügyfélhez. Mindezek felett pedig egy többszintű irányítási réteg helyezkedik el, amely ellenőrzi, hogy egy kimenet vagy művelet megfelel-e a szabályoknak, mielőtt kikerülne a rendszerből; ez kevésbé szűrőként, inkább az egész rendszer felügyelőjeként működik.
Ez a kombináció teszi lehetővé, hogy a platform mesterséges intelligencia hibaaránya 1% alatt maradjon – ez a szám főként azért érdemel figyelmet, mert ebben a szektorban nagyon kevés szolgáltató teszi közzé egyáltalán a sajátját.
A válaszadás elhalasztásának megítélése
Egy ügyfélszolgálati ügynök legértékesebb tulajdonsága nem az, hogy minél több kérdésre ad helyes választ. Hanem az, hogy felismeri, melyekre nem szabad egyedül válaszolnia. Egy olyan rendszer, amely egy bonyolult számlázási vitát korán, a teljes kontextussal együtt továbbítja, sokkal kevesebb kárt okoz, mint az, amelyik továbbhalad és találgat. Ez az, ami megkülönbözteti azt az ügynököt, aki leírja a megoldást, attól, aki ténylegesen végrehajtja azt: előhívja a megrendelést, elvégzi a módosítást, és visszaigazolja azt az ügyfélnek.
A megbízhatóságot fenn kell tartani, nem csak ki kell építeni
Egy rendszer, amely a bevezetés napján pontos, nem maradhat az, ha nincs, aki figyelje. A termékek változnak, a szabályzatok frissülnek, és az ügyfelek kérdései is ezekkel együtt változnak. A folyamatos mérés ezt a változást adatként rögzíti, nem pedig panaszáradatként, és egy fegyelmezett értékelési, tesztelési és kiadási ciklus folyamatosan pótolja a feltárt hiányosságokat, miközben egy ember továbbra is jóváhagyja a változtatásokat, mielőtt azok ténylegesen életbe lépnének.
Mit kell valójában ellenőrizni, mielőtt megbízunk egy szolgáltatóban
Bármely szolgáltatót, aki azt állítja, hogy a mesterséges intelligenciája soha nem téved, gyanakvással kell kezelni, mert ez általában azt jelenti, hogy senki sem méri elég alaposan a rendszert ahhoz, hogy másképp tudjon róla. Azokat érdemes komolyan venni, akik közzéteszik a hibaarányt, pontosan elmagyarázzák, hogyan észlelik a hibákat, mielőtt az ügyfelek észrevennék őket, és őszintén elmondják, mikor adja át a rendszer az ügyet egy embernek a találgatás helyett. Ez egy teljesen más megközelítés, mint a „bízz a mesterséges intelligenciában” szlogen, és ez az, ami valóban bevált, ha a rendszerre valódi ügyfélforgalom nehezedik.
