Kodėl dirbtinio intelekto produktai nepavyksta, kai mokymo duomenys neatitinka realaus pasaulio

Įvadas

Kai pirmą kartą mačiau, kaip po daug žadančio starto žlugo AI produktas, problema buvo ne sąsaja, infrastruktūra ar net pats modelis. Sistemos veikimas vidaus testavimo metu buvo puikus. Rodikliai atrodė geri, demonstracinės versijos padarė įspūdį suinteresuotosioms šalims, o diegimas vyko užtikrintai. Tada tikri vartotojai pradėjo naudotis sistema nekontroliuojamoje aplinkoje, ir trūkumai paaiškėjo beveik iš karto. Ši patirtis pakeitė mano požiūrį į AI kūrimą. Šiandien, kai komandos pradeda diskutuoti apie sintetinius duomenis kompiuteriniam matymui, aš paprastai tai vertinu ne kaip eksperimentinę technologiją, o kaip atsaką į daug gilesnę problemą: dauguma AI sistemų yra mokomos aplinkose, kurios yra daug švaresnės ir siauresnės nei realybė.

AI sistemos perima savo mokymo aplinkų ribotumą

Vienas didžiausių klaidingų įsitikinimų apie AI yra tikėjimas, kad modeliai tampa protingi plačiąja, žmogiška prasme. Praktikoje dauguma sistemų yra labai priklausomos nuo aplinkų, iš kurių jos mokosi.

Jei modelis mokomas daugiausia remiantis aiškiais pavyzdžiais, jis išmoksta tikėtis aiškių įvesties duomenų. Jei jis retai susiduria su dviprasmiškumu, vėliau jam sunku susidoroti su dviprasmiškumu. Jei mokymo metu nėra svarbių ribinių sąlygų, modelis neturi reikšmingo atskaitos taško, kai tos sąlygos atsiranda gamybos procese.

Štai kodėl daugelis AI produktų atrodo įspūdingai kontroliuojamų demonstravimų metu, bet elgiasi nenuosekliai po diegimo. Problema ne visada yra ta, kad modelis yra silpnas. Dažnai sistema tiesiog veikia už ribų to, ką ji buvo paruošta interpretuoti.

Realaus pasaulio sąlygos yra sudėtingesnės, nei komandos tikisi

Ankstyvieji produkto testavimai paprastai vyksta palankiomis sąlygomis.

Vaizdai yra palyginti aiškūs. Vartotojų elgsena yra šiek tiek nuspėjama. Scenarijai yra sąmoningai parinkti. Duomenų srautai vis dar yra pakankamai maži, kad juos būtų galima atidžiai valdyti.

Realioje aplinkoje viskas yra kitaip. Keičiasi apšvietimas. Įrenginiai veikia nenuosekliai. Įvestys tampa triukšmingesnės. Žmonių elgsena tampa mažiau struktūruota. Retos sąlygos pasitaiko dažniau nei tikėtasi. Kintamieji sąveikauja deriniais, kurių niekas aiškiai netestavo.

Būtent dėl šio atotrūkio tarp kontroliuojamų bandymų ir tikrosios veiklos daugelis AI sistemų pradeda strigti.

Ši problema ypač pastebima kompiuterinio matymo produktuose, nes vizualinės aplinkos iš prigimties yra nestabilios. Maži pokyčiai, kurių žmonės beveik nepastebi, gali radikaliai paveikti modelio patikimumą ir prognozavimo kokybę.

Daugiau duomenų automatiškai neišsprendžia problemos

Kai atsiranda našumo problemų, įprasta reakcija paprastai yra tiesioginė: surinkti daugiau duomenų.

Iš pirmo žvilgsnio tai atrodo logiška. Daugiau pavyzdžių turėtų pagerinti mokymąsi. Tačiau praktikoje realaus pasaulio duomenų rinkiniai dažnai plečiasi nevienodai. Komandos surenka daugiau to, ką lengva užfiksuoti, tačiau vis dar praleidžia svarbiausias sąlygas.

Rezultatas – masto padidėjimas be reikšmingo aprėpties.

AI sistema gali apdoroti milijonus pavyzdžių, bet vis tiek nesugebėti veikti tam tikromis aplinkos sąlygomis, nes tos sąlygos lieka nepakankamai atstovaujamos. Organizacija tai interpretuoja kaip modeliavimo problemą, nors iš tikrųjų tai yra duomenų aplinkos problema.

Tai viena iš priežasčių, kodėl daugelis AI iniciatyvų pasiekia plokštumą. Papildomos pastangos duoda mažesnius patobulinimus, nes sistema mokosi iš pasaulio, kuris lieka struktūriškai neišsamus.

Demo versijose vertinamas išbaigtumas, o gamybinėje versijoje – atsparumas

Viena iš priežasčių, kodėl ši problema išlieka, yra ta, kad demonstracinės versijos ir realūs diegimai optimizuojami skirtingiems tikslams.

Demo versijose vertinamas sklandumas. Komandos natūraliai demonstruoja aplinką, kurioje sistema veikia gerai. Tikslas – pasitikėjimas ir impulsas.

Gamybinėse aplinkose vertinamas atsparumas. Sistemos turi elgtis nuspėjamai net tada, kai sąlygos pablogėja, vartotojai elgiasi netikėtai arba įvestys tampa nenuoseklios.

Išbaigtas demonstracinis modelis gali paslėpti trapias prielaidas apie duomenis, nuo kurių priklauso sistema. Šios prielaidos dažnai lieka nematomos, kol masto didėjimas nesukelia kintamumo, kurio nebuvo mokymo metu.

Štai kodėl organizacijos kartais jaučiasi užkluptos netikėtai po paleidimo. Iš jų perspektyvos produktas „veikė“ prieš diegimą. Iš tikrųjų jis veikė kruopščiai apribotoje aplinkoje.

AI produktai žlunga palaipsniui, kol jų gedimai tampa akivaizdūs

Vienas įdomiausių dalykų apie AI patikimumo problemas yra tai, kad jos dažnai atsiranda pamažu.

Iš pradžių vartotojai pastebi retkarčiais pasitaikančius neatitikimus. Komandos įdiegia rankinio peržiūrėjimo etapus. Pasitikėjimo ribos yra koreguojamos. Ribiniai atvejai perduodami žmonėms.

Laikui bėgant, paslėptos veiklos trintys didėja. Darbuotojai nustoja visiškai pasitikėti automatizavimu. Klientai susiduria su nenuspėjamais atvejais. Pagalbos komandos daugiau laiko skiria išimčių tvarkymui.

Produktas techniškai vis dar veikia, tačiau su juo susijusi operacinė našta nuolat didėja.

Toks laipsniškas pasitikėjimo mažėjimas yra kur kas dažnesnis reiškinys nei katastrofiškos gedimo, ir paprastai jo priežastis yra ta pati: sistema niekada nesimokė iš pakankamai reprezentatyvios aplinkos.

Kodėl sintetinės aplinkos tampa vis svarbesnės

Būtent čia sintetiniai duomenys tampa strategiškai naudingi.

Aš nematau sintetinių aplinkų kaip realybės pakaitalo. Aš jas matau kaip įrankius, padedančius išplėsti tai, ko realybė viena pati negali suteikti. Komandos gali įvesti kontroliuojamus pokyčius, imituoti retas sąlygas ir sąmoningai išbandyti kraštutinius atvejus, užuot laukusios, kol jie atsiras savaime.

Tai žymiai keičia kūrimo procesą.

Užuot visiškai pasikliaudamos pasyviu duomenų rinkimu, organizacijos gali aktyviai formuoti sąlygas, kuriomis mokosi AI sistemos. Jos gali struktūriškai tirti apšvietimo variacijas, aplinkos triukšmą, objektų sąveikas ir neįprastus scenarijus.

Vertė yra ne tik dirbtinis realizmas. Vertė yra kontroliuojamas aprėptis.

Patikimumas priklauso nuo sąmoningų variacijų

Galingos AI sistemos nėra tiesiog mokomos naudojant didelius duomenų kiekius. Jos mokomos naudojant prasmingus pokyčius.

Šis skirtumas svarbus, nes realaus pasaulio aplinkoje gausu subtilių skirtumų. Keičiasi kameros kampai. Oras keičia matomumą. Vartotojų elgsena kinta. Skiriasi įrangos kokybė.

Jei mokymo metu šių variacijų nėra, diegimas tampa nenuspėjamas.

Sintetinės aplinkos leidžia komandoms sąmoningai modeliuoti šiuos skirtumus. Vietoj to, kad tikėtųsi, jog svarbios sąlygos natūraliai atsiras surinktuose duomenyse, jos gali jas sistemingai įvesti ir įvertinti, kaip elgiasi sistema.

Tai leidžia patikimumą vertinti kaip išmatuojamą, o ne atsitiktinį reiškinį.

AI kūrimas tampa infrastruktūros sritimi

Visame sektoriuje vyksta platesnis pokytis.

Anksčiau AI plėtra buvo daugiausia sutelkta į modelių architektūrą ir eksperimentavimą. Vis dažniau sudėtingos problemos yra infrastruktūrinės. Duomenų kokybė, atkuriamumas, aplinkos kontrolė ir patvirtinimo procesai dabar lemia rezultatus ne mažiau nei algoritmų pasirinkimas.

Organizacijos pradeda suprasti, kad AI sistemos nėra tik programinės įrangos produktai. Tai mokymosi sistemos, kurių patikimumas priklauso nuo aplinkos, kurioje jos veikia mokymosi metu.

Šis suvokimas keičia komandų požiūrį į duomenų strategiją.

Mokymo aplinkos nebelaikomos laikinais ištekliais, o pradedamos traktuoti kaip operacinę infrastruktūrą.

Atkuriamumas yra svarbesnis, nei dauguma komandų supranta

Viena iš priežasčių, kodėl kontroliuojama aplinka yra svarbi, yra atkuriamumas.

Kai našumas netikėtai pasikeičia, komandos turi suprasti, kodėl. Tai tampa ypač sunku, kai duomenų rinkiniai kinta nekontroliuojamai arba aplinkos pokyčiai yra prastai dokumentuojami.

Sintetinės aplinkos palengvina kontroliuojamus eksperimentus. Galima atkurti sąlygas, koreguoti parametrus ir lyginti sistemos elgseną pakartojamuose scenarijuose.

Tai sumažina spėliojimus ir leidžia komandoms sistemingiau diagnozuoti silpnąsias vietas.

Dideliu mastu veikiančių AI produktų atveju toks veiklos aiškumas tampa vis vertingesnis.

Kodėl sunku atgauti vartotojų pasitikėjimą

Galbūt didžiausias iššūkis, susijęs su nepatikimomis AI sistemomis, yra tai, kad pasitikėjimas yra trapus.

Vartotojai gali toleruoti retkarčiais pasitaikančias tradicinės programinės įrangos klaidas, nes jos logika atrodo suprantama. AI gedimai dažnai atrodo nenuoseklūs ir sunkiai nuspėjami. Tas nenuspėjamumas keičia žmonių sąveiką su produktu.

Kai vartotojai pradeda tikėtis nepatikimo elgesio, produkto įsisavinimas sulėtėja. Padidėja rankinio tikrinimo poreikis. Pasitikėjimas mažėja net jei sistema vėliau patobulėja.

Štai kodėl stiprios mokymo aplinkos yra tokios svarbios. Patikimumas nėra tik techninis rodiklis. Jis formuoja tai, kaip žmonės emociškai susiję su pačiu produktu.

Naujos kartos AI produktai

Kitos kartos sėkmingi AI produktai greičiausiai skirsis nuo daugelio ankstesnių sistemų.

Jie nebus grindžiami vien didesniais modeliais ar didesniais skaičiavimo pajėgumais. Jie priklausys nuo geriau kontroliuojamų mokymosi aplinkų, tvirtesnių patvirtinimo strategijų ir apgalvotesnių požiūrių į variacijas bei kraštutinių atvejų aprėptį.

Organizacijos, kurios tai supranta, jau keičia savo prioritetus. Jos daugiau investuoja į duomenų infrastruktūrą, modeliavimo procesus ir kontroliuojamas testavimo aplinkas, nes supranta, kad vien modelio kokybės nepakanka.

Paskutinė mintis

Dauguma AI produktų žlunga ne dėl to, kad technologija yra nepakankama. Jie žlunga dėl to, kad aplinkos, kuriose jie mokomi, yra pernelyg siauros, palyginti su aplinkomis, su kuriomis jie galiausiai susiduria.

Kai atsiranda šis neatitikimas, darbo srautai tampa nestabilūs, mažėja vartotojų pasitikėjimas, o veiklos sąnaudos tyliai auga fone.

Organizacijos, kurios kuria patikimesnes sistemas, paprastai yra tos, kurios mokymo aplinkas vertina taip pat rimtai, kaip ir kodą, infrastruktūrą bei diegimo procesus.

Šis pokytis gali būti ne toks matomas kaip naujo modelio išleidimas, tačiau praktikoje būtent jis dažnai lemia, ar AI produktas liks įspūdingas tik demonstracijose, ar ir toliau veiks patikimai, kai susidurs su realiu pasauliu.