Zakaj so izdelki umetne inteligence neuspešni, če se podatki za usposabljanje ne ujemajo z resničnim svetom

Uvod

Ko sem prvič videl, kako je AI-produkt po obetavnem lansiranju propadel, problem ni bil v vmesniku, infrastrukturi ali celo samem modelu. Sistem je med notranjim testiranjem deloval dobro. Kazalniki so bili dobri, predstavitve so navdušile deležnike in uvedba je potekala samozavestno. Potem pa so z njim začeli delati pravi uporabniki v nekontroliranih okoljih in skoraj takoj so se pojavile pomanjkljivosti. Ta izkušnja je spremenila moj pogled na razvoj AI. Danes, ko ekipe začnejo razpravljati o sintetičnih podatkih za računalniški vid, to običajno vidim manj kot eksperimentalno tehnologijo in bolj kot odgovor na veliko globlji problem: večina sistemov umetne inteligence je usposobljenih v svetovih, ki so veliko čistejši in ožji od resničnosti.

Sistemi umetne inteligence podedujejo omejitve svojih okolij za usposabljanje

Eno največjih napačnih prepričanj v zvezi z umetno inteligenco je prepričanje, da modeli postanejo inteligentni v širšem, človeškem smislu. V praksi je večina sistemov zelo odvisna od okolij, iz katerih se učijo.

Če je model usposobljen predvsem na čistih primerih, se nauči pričakovati čiste vnosne podatke. Če redko naleti na dvoumnost, se kasneje s tem spopada. Če med usposabljanjem manjkajo pomembni mejni pogoji, model nima pomembne referenčne točke, ko se ti pogoji pojavijo v produkciji.

Zato mnogi AI-proizvodi delujejo impresivno med nadzorovanimi predstavitvami, vendar se po uvedbi v prakso obnašajo neenotno. Problem ni vedno v tem, da je model šibak. Pogosto sistem preprosto deluje zunaj meja tega, kar je bil pripravljen razlagati.

Pogoji v realnem svetu so težji, kot ekipe pričakujejo

Zgodnje testiranje izdelkov poteka ponavadi v ugodnih pogojih.

Slike so relativno jasne. Vedenje uporabnikov je do neke mere predvidljivo. Scenariji so namerno izbrani. Poteki podatkov so še vedno dovolj majhni, da jih je mogoče skrbno upravljati.

Resnična okolja so drugačna. Osvetlitev se spreminja. Naprave se obnašajo neenakomerno. Vhodni podatki postanejo bolj šumni. Človeško obnašanje postane manj strukturirano. Redki pogoji se pojavljajo pogosteje, kot se pričakuje. Spremenljivke medsebojno delujejo v kombinacijah, ki jih nihče ni izrecno preizkusil.

Ta vrzel med nadzorovanim testiranjem in operativno realnostjo je tista, kjer mnogi sistemi umetne inteligence začnejo odpovedovati.

Ta problem je še posebej viden pri izdelkih za računalniški vid, saj so vizualna okolja po naravi nestabilna. Majhne spremembe, ki jih ljudje komaj opazijo, lahko radikalno vplivajo na zanesljivost modela in kakovost napovedi.

Več podatkov ne reši problema samodejno

Ko se pojavijo težave z zmogljivostjo, je običajni odziv preprost: zberite več podatkov.

Na prvi pogled je to smiselno. Več primerov naj bi izboljšalo učenje. V praksi pa se podatkovne zbirke iz resničnega sveta pogosto razširjajo neenakomerno. Ekipe zbirajo več tistega, kar je enostavno zajeti, medtem ko še vedno manjkajo pogoji, ki so najbolj pomembni.

Rezultat je obseg brez pomembnega pokritja.

Sistem umetne inteligence lahko obdela milijone primerov in kljub temu ne deluje v določenih okoljskih pogojih, ker ti pogoji ostajajo premalo zastopani. Organizacija to razlaga kot problem modeliranja, čeprav gre v resnici za problem podatkovnega okolja.

To je eden od razlogov, zakaj se mnoge pobude na področju umetne inteligence ustavijo. Dodatna prizadevanja prinašajo manjše izboljšave, ker se sistem uči iz sveta, ki ostaja strukturno nepopoln.

Demo različice nagrajujejo izpopolnjenost, produkcija pa odpornost

Eden od razlogov, zakaj ta problem ostaja, je, da so predstavitve in dejanske implementacije optimizirane za različne stvari.

Demo različice nagrajujejo gladkost. Ekipe seveda predstavljajo okolja, v katerih sistem deluje dobro. Cilj je zaupanje in zagon.

Proizvodna okolja nagrajujejo odpornost. Sistemi se morajo obnašati predvidljivo, tudi ko se pogoji poslabšajo, se uporabniki obnašajo nepričakovano ali vnosi postanejo neusklajeni.

Dobro izpopolnjena predstavitev lahko skriva krhke predpostavke o podatkih, na katerih temelji sistem. Te predpostavke pogosto ostanejo nevidne, dokler obseg ne uvede spremenljivosti, ki ni bila nikoli del usposabljanja.

Zato se organizacije po uvedbi včasih počutijo presenečene. Iz njihovega vidika je izdelek pred uvedbo »deloval«. V resnici je deloval v skrbno omejenem okolju.

AI-izdelki odpovedujejo postopoma, preden odpovedo vidno

Ena najbolj zanimivih stvari pri težavah z zanesljivostjo umetne inteligence je, da se pogosto pojavljajo počasi.

Sprva uporabniki opazijo občasne neskladnosti. Ekipe uvedejo ročne korake pregleda. Pragi zaupanja se prilagodijo. Izjemni primeri se posredujejo ljudem.

Sčasoma se skrite operativne težave povečajo. Zaposleni prenehajo v celoti zaupati avtomatizaciji. Stranke se srečujejo z nepredvidljivimi izkušnjami. Ekipe za podporo porabijo več časa za obravnavanje izjem.

Izdelek tehnično še vedno deluje, vendar se operativna obremenitev, povezana z njim, stalno povečuje.

To postopno izgubljanje zaupanja je veliko pogostejše kot katastrofalne napake in ponavadi izhaja iz istega osnovnega problema: sistem se ni nikoli učil iz dovolj reprezentativnega okolja.

Zakaj postajajo sintetična okolja vse pomembnejša

Tu postanejo sintetični podatki strateško koristni.

Sintetičnih okolij ne vidim kot nadomestila za realnost. Vidim jih kot orodja za razširitev tistega, kar realnost sama težko zagotovi. Ekipe lahko namesto čakanja na spontano pojavitev kontrolirano uvajajo variacije, simulirajo redke pogoje in namerno testirajo mejne primere.

To bistveno spremeni razvojni proces.

Namesto da se organizacije v celoti zanašajo na pasivno zbiranje podatkov, lahko aktivno oblikujejo pogoje, v katerih se sistemi umetne inteligence učijo. Na strukturiran način lahko raziskujejo variacije osvetlitve, okoljski hrup, interakcije med objekti in neobičajne scenarije.

Vrednost ni le v umetnem realizmu. Vrednost je v nadzorovanem pokrivanju.

Zanesljivost je odvisna od namernih variacij

Močni sistemi umetne inteligence niso zgolj usposobljeni na podlagi velikih količin podatkov. Usposobljeni so na podlagi pomembnih variacij.

Ta razlika je pomembna, ker so okolja v resničnem svetu polna subtilnih razlik. Koti kamere se spreminjajo. Vreme vpliva na vidljivost. Vedenje uporabnikov se razvija. Kakovost strojne opreme se spreminja.

Če teh variacij med usposabljanjem ni, postane uporaba nepredvidljiva.

Sintetična okolja omogočajo ekipam, da te razlike namerno modelirajo. Namesto da upajo, da se bodo pomembni pogoji naravno pojavili v zbranih podatkih, jih lahko sistematično uvedejo in ocenijo, kako se sistem obnaša.

Tako je robustnost merljiva in ne naključna.

Razvoj umetne inteligence postaja infrastrukturna disciplina

V celotni industriji se dogaja širši premik.

Zgodnji razvoj umetne inteligence se je močno osredotočal na arhitekturo modelov in eksperimentiranje. Vse bolj so težavni problemi infrastrukturne narave. Kakovost podatkov, ponovljivost, nadzor okolja in poteki validacije zdaj vplivajo na rezultate enako kot izbira algoritmov.

Organizacije se začenjajo zavedati, da sistemi umetne inteligence niso le programski izdelki. So učni sistemi, katerih zanesljivost je odvisna od okolij, s katerimi se srečujejo med usposabljanjem.

To spoznanje spreminja način, kako ekipe razmišljajo o strategiji za podatke.

Usposabljalna okolja se ne obravnavajo več kot začasna sredstva, ampak kot operativna infrastruktura.

Reprodukcibilnost je pomembnejša, kot se zaveda večina ekip

Eden od razlogov, zakaj so nadzorovana okolja pomembna, je ponovljivost.

Ko se zmogljivost nepričakovano spremeni, morajo ekipe razumeti, zakaj. To postane izredno težko, ko se podatkovni nizi razvijajo na nekontroliran način ali so spremembe v okolju slabo dokumentirane.

Sintetična okolja olajšujejo nadzorovano eksperimentiranje. Pogoje je mogoče ponovno ustvariti, parametre prilagoditi in primerjati obnašanje sistema v ponovljivih scenarijih.

To zmanjša ugibanje in omogoča ekipam, da bolj sistematično diagnosticirajo slabosti.

Za AI-produkte, ki delujejo v velikem obsegu, ta operativna jasnost postaja vse bolj dragocena.

Zakaj je težko ponovno pridobiti zaupanje uporabnikov

Morda je največji izziv pri nezanesljivih sistemih umetne inteligence to, da je zaupanje krhko.

Uporabniki lahko prenašajo občasne napake v tradicionalni programski opremi, ker se jim logika zdi razumljiva. Napake umetne inteligence se pogosto zdijo nedosledne in težko predvidljive. Ta nepredvidljivost spreminja način, kako ljudje interagirajo s produktom.

Ko uporabniki začnejo pričakovati nezanesljivo delovanje, se sprejemanje upočasni. Ročno preverjanje se poveča. Zaupanje upade, tudi če se sistem kasneje izboljša.

Zato so močna okolja za usposabljanje tako pomembna. Zanesljivost ni le tehnični kazalnik. Oblikuje način, kako se ljudje čustveno navezujejo na sam izdelek.

Naslednja generacija izdelkov AI

Naslednja generacija uspešnih izdelkov umetne inteligence bo verjetno drugačna od mnogih zgodnjih sistemov.

Ne bodo se zgolj zanašali na večje modele ali večjo računsko moč. Zanašali se bodo na bolje nadzorovana učna okolja, močnejše strategije validacije in bolj premišljene pristope k variacijam in pokrivanju mejnih primerov.

Organizacije, ki to razumejo, že spreminjajo svoje prioritete. Več vlagajo v podatkovno infrastrukturo, simulacijske poti in nadzorovana testna okolja, ker se zavedajo, da sama kakovost modela ni dovolj.

Zaključna misel

Večina izdelkov umetne inteligence ne propade zaradi nezmožnosti tehnologije. Propadejo, ker so okolja, v katerih se usposabljajo, preozka v primerjavi z okolji, s katerimi se na koncu soočajo.

Ko se pojavi ta neskladje, postanejo delovni tokovi nestabilni, zaupanje uporabnikov se zmanjša, operativni stroški pa tiho naraščajo v ozadju.

Organizacije, ki gradijo zanesljivejše sisteme, so običajno tiste, ki so pripravljene obravnavati okolja za usposabljanje enako resno kot kodo, infrastrukturo in poteke uvajanja.

Ta premik morda ni tako viden kot izdaja novega modela, vendar v praksi pogosto odloča, ali bo izdelek AI ostal impresiven le v predstavitvah ali pa bo zanesljivo deloval tudi v realnem svetu.