Prečo produkty umelej inteligencie zlyhávajú, keď sa tréningové údaje nezhodujú s reálnym svetom

Úvod

Keď som po prvýkrát videl, ako sa produkt umelej inteligencie zrútil po sľubnom uvedení na trh, problémom nebolo rozhranie, infraštruktúra ani samotný model. Systém fungoval dobre počas interných testov. Ukazovatele vyzerali sľubne, ukážky zapôsobili na zainteresované strany a zavádzanie do praxe prebiehalo sebavedome. Potom však skutoční používatelia začali s ním pracovať v nekontrolovaných prostrediach a takmer okamžite sa objavili trhliny. Táto skúsenosť zmenila môj pohľad na vývoj umelej inteligencie. Dnes, keď tímy začínajú diskutovať o syntetických dátach pre počítačové videnie, vnímam to skôr ako odpoveď na oveľa hlbší problém než ako experimentálnu technológiu: väčšina systémov umelej inteligencie je trénovaná v prostrediach, ktoré sú oveľa čistejšie a užšie než realita.

Systémy umelej inteligencie zdedili obmedzenia svojich tréningových prostredí

Jedným z najväčších omylov v súvislosti s umelou inteligenciou je presvedčenie, že modely sa stávajú inteligentnými v širokom, ľudskom zmysle. V praxi sú väčšina systémov vysoko závislá od prostredí, z ktorých sa učia.

Ak je model trénovaný prevažne na čistých príkladoch, naučí sa očakávať čisté vstupy. Ak sa zriedka stretáva s nejednoznačnosťou, neskôr s ňou zápasí. Ak počas trénovania chýbajú dôležité okrajové podmienky, model nemá žiadny zmysluplný referenčný bod, keď sa tieto podmienky objavia v produkcii.

Preto mnoho produktov umelej inteligencie vyzerá pôsobivo počas kontrolovaných ukážok, ale po nasadení sa správa nekonzistentne. Problémom nie je vždy to, že model je slabý. Často systém jednoducho funguje mimo hraníc toho, na čo bol pripravený interpretovať.

Reálne podmienky sú ťažšie, ako tímy očakávajú

Skoré testovanie produktov sa zvyčajne odohráva za priaznivých podmienok.

Obrázky sú relatívne jasné. Správanie používateľov je do určitej miery predvídateľné. Scenáre sú zámerne vyberané. Dátové potrubia sú stále dostatočne malé na to, aby sa dali starostlivo spravovať.

Skutočné prostredia sú odlišné. Osvetlenie sa mení. Zariadenia sa správajú nekonzistentne. Vstupné údaje sú šumovejšie. Ľudské správanie je menej štruktúrované. Zriedkavé podmienky sa objavujú častejšie, ako sa očakávalo. Premenné na seba pôsobia v kombináciách, ktoré nikto výslovne netestoval.

Táto priepasť medzi kontrolovaným testovaním a prevádzkovou realitou je miestom, kde mnoho systémov umelej inteligencie začína zlyhávať.

Tento problém je zvlášť viditeľný v produktoch počítačového videnia, pretože vizuálne prostredia sú zo svojej podstaty nestabilné. Malé zmeny, ktoré ľudia sotva zaregistrujú, môžu radikálne ovplyvniť spoľahlivosť modelu a kvalitu predikcie.

Viac údajov automaticky nevyrieši problém

Keď sa objavia problémy s výkonom, štandardná reakcia je zvyčajne jednoduchá: zhromaždiť viac údajov.

Na prvý pohľad to dáva zmysel. Viac príkladov by malo zlepšiť učenie. V praxi sa však reálne dátové súbory často rozširujú nerovnomerne. Tímy zhromažďujú viac toho, čo sa dá ľahko zachytiť, pričom stále chýbajú podmienky, ktoré sú najdôležitejšie.

Výsledkom je rozsah bez zmysluplného pokrytia.

Systém umelej inteligencie môže spracovať milióny príkladov a napriek tomu zlyhať za špecifických podmienok prostredia, pretože tieto podmienky zostávajú nedostatočne zastúpené. Organizácia to interpretuje ako problém modelovania, hoci v skutočnosti ide o problém dátového prostredia.

To je jeden z dôvodov, prečo mnohé iniciatívy v oblasti umelej inteligencie stagnujú. Dodatočné úsilie prináša menšie zlepšenia, pretože systém sa učí zo sveta, ktorý zostáva štrukturálne neúplný.

Demo verzie odmeňujú dokonalosť, produkčné verzie odmeňujú odolnosť

Jedným z dôvodov, prečo tento problém pretrváva, je to, že ukážky a skutočné nasadenia sú optimalizované na rôzne veci.

Demo verzie odmeňujú plynulosť. Tímy prirodzene prezentujú prostredia, v ktorých systém funguje dobre. Cieľom je dôvera a dynamika.

Produkčné prostredia odmeňujú odolnosť. Systémy sa musia správať predvídateľne aj vtedy, keď sa podmienky zhoršia, používatelia sa správajú neočakávane alebo vstupy sa stanú nekonzistentnými.

Vylepšená ukážka môže skryť krehké predpoklady o údajoch, na ktorých systém závisí. Tieto predpoklady často zostávajú neviditeľné, kým škálovanie nezavedie variabilitu, ktorá nikdy nebola súčasťou tréningu.

Preto sa organizácie po spustení niekedy cítia zaskočené. Z ich pohľadu produkt pred nasadením „fungoval“. V skutočnosti však fungoval v starostlivo obmedzenom prostredí.

Produkty umelej inteligencie zlyhávajú postupne, skôr ako zlyhajú viditeľne

Jednou z najzaujímavejších vecí na problémoch so spoľahlivosťou umelej inteligencie je to, že sa často objavujú pomaly.

Spočiatku používatelia zaznamenajú občasné nekonzistentnosti. Tímy zavádzajú kroky manuálnej kontroly. Upravujú sa prahové hodnoty dôveryhodnosti. Okrajové prípady sa eskalujú na ľudí.

Postupom času narastá skryté prevádzkové napätie. Zamestnanci prestávajú plne dôverovať automatizácii. Zákazníci sa stretávajú s nepredvídateľnými zážitkami. Tímy podpory trávia viac času riešením výnimiek.

Produkt technicky stále funguje, ale prevádzková záťaž s ním spojená sa neustále zvyšuje.

Toto postupné narúšanie dôvery je oveľa bežnejšie ako katastrofické zlyhanie a zvyčajne má pôvod v tom istom základnom probléme: systém sa nikdy neučil z dostatočne reprezentatívneho prostredia.

Prečo sú syntetické prostredia čoraz dôležitejšie

Tu sa syntetické dáta stávajú strategicky užitočnými.

Syntetické prostredia nevnímam ako náhradu reality. Vnímam ich ako nástroje na rozšírenie toho, čo samotná realita nedokáže poskytnúť. Tímy môžu zavádzať kontrolované variácie, simulovať zriedkavé podmienky a zámerne testovať okrajové prípady, namiesto toho, aby čakali, kým sa objavia prirodzene.

To výrazne mení proces vývoja.

Namiesto toho, aby sa organizácie spoliehali výlučne na pasívne zbieranie údajov, môžu aktívne formovať podmienky, za ktorých sa systémy umelej inteligencie učia. Môžu štruktúrovaným spôsobom skúmať variácie osvetlenia, okolité hluky, interakcie objektov a neobvyklé scenáre.

Hodnota nespočíva len v umelom realizme. Hodnota spočíva v kontrolovanom pokrytí.

Spoľahlivosť závisí od zámernej variácie

Silné systémy umelej inteligencie nie sú jednoducho trénované na veľkých množstvách údajov. Sú trénované na zmysluplnej variácii.

Toto rozlíšenie je dôležité, pretože reálne prostredia sú plné jemných rozdielov. Uhly kamery sa menia. Počasie ovplyvňuje viditeľnosť. Správanie používateľov sa vyvíja. Kvalita hardvéru sa líši.

Ak tieto variácie počas trénovania chýbajú, nasadenie sa stáva nepredvídateľným.

Syntetické prostredia umožňujú tímom tieto rozdiely zámerne modelovať. Namiesto toho, aby dúfali, že sa dôležité podmienky prirodzene objavia v zhromaždených údajoch, môžu ich systematicky zavádzať a hodnotiť, ako sa systém správa.

Vďaka tomu je robustnosť merateľná a nie náhodná.

Vývoj umelej inteligencie sa stáva disciplínou infraštruktúry

V celom odvetví dochádza k širšej zmene.

Počiatočný vývoj umelej inteligencie sa vo veľkej miere zameriaval na architektúru modelov a experimentovanie. Zložité problémy sú čoraz viac infraštruktúrneho charakteru. Kvalita údajov, reprodukovateľnosť, kontrola prostredia a validačné procesy teraz ovplyvňujú výsledky rovnako ako výber algoritmov.

Organizácie si začínajú uvedomovať, že systémy umelej inteligencie nie sú len softvérovými produktmi. Sú to učiace sa systémy, ktorých spoľahlivosť závisí od prostredí, s ktorými prichádzajú do styku počas trénovania.

Toto uvedomenie mení spôsob, akým tímy uvažujú o stratégii v oblasti dát.

Trénovacie prostredia sa prestávajú považovať za dočasné aktíva a začínajú sa považovať za prevádzkovú infraštruktúru.

Reprodukovateľnosť je dôležitejšia, než si väčšina tímov uvedomuje

Jedným z dôvodov, prečo sú kontrolované prostredia dôležité, je reprodukovateľnosť.

Keď sa výkon neočakávane zmení, tímy musia pochopiť prečo. To sa stáva mimoriadne ťažké, keď sa dátové súbory vyvíjajú nekontrolovateľným spôsobom alebo keď sú zmeny prostredia nedostatočne zdokumentované.

Syntetické prostredia uľahčujú kontrolované experimentovanie. Podmienky je možné znovu vytvoriť, parametre upraviť a správanie systému porovnať v opakovaných scenároch.

Tým sa znižuje množstvo dohadov a tímy môžu systematickejšie diagnostikovať slabé miesta.

Pre produkty umelej inteligencie fungujúce vo veľkom meradle sa táto prevádzková prehľadnosť stáva čoraz cennejšou.

Prečo je ťažké obnoviť dôveru používateľov

Snáď najväčšou výzvou v prípade nespoľahlivých systémov umelej inteligencie je krehkosť dôvery.

Používatelia môžu tolerovať občasné chyby v tradičnom softvéri, pretože logika je pre nich zrozumiteľná. Zlyhania umelej inteligencie sa často javia ako nekonzistentné a ťažko predvídateľné. Táto nepredvídateľnosť mení spôsob, akým ľudia s produktom interagujú.

Akonáhle používatelia začnú očakávať nespoľahlivé správanie, spomaľuje sa jeho prijatie. Zvyšuje sa manuálna kontrola. Dôvera klesá, aj keď sa systém neskôr zlepší.

Preto sú silné tréningové prostredia tak dôležité. Spoľahlivosť nie je len technický ukazovateľ. Ovplyvňuje to, ako sa ľudia emocionálne vzťahujú k samotnému produktu.

Nová generácia produktov umelej inteligencie

Nasledujúca generácia úspešných produktov umelej inteligencie bude pravdepodobne vyzerať inak ako mnohé skoršie systémy.

Nebudú sa spoliehať len na väčšie modely alebo väčší výpočtový výkon. Budú závisieť od lepšie kontrolovaných prostredí pre učenie, silnejších stratégií validácie a premyslenejších prístupov k variáciám a pokrytie okrajových prípadov.

Organizácie, ktoré to chápu, už menia svoje priority. Viac investujú do dátovej infraštruktúry, simulačných procesov a kontrolovaných testovacích prostredí, pretože si uvedomujú, že kvalita modelu sama o sebe nestačí.

Záver

Väčšina produktov umelej inteligencie zlyháva nie preto, že by technológia nebola schopná. Zlyhávajú preto, že prostredia používané na ich trénovanie sú príliš úzke v porovnaní s prostredím, s ktorým sa nakoniec stretnú.

Akonáhle sa táto nezhoda prejaví, pracovné postupy sa stanú nestabilnými, dôvera používateľov sa oslabí a prevádzkové náklady v pozadí nenápadne stúpnu.

Organizácie, ktoré budujú spoľahlivejšie systémy, sú zvyčajne tie, ktoré sú ochotné brať tréningové prostredia rovnako vážne ako kód, infraštruktúru a nasadzovacie procesy.

Táto zmena nemusí byť tak viditeľná ako vydanie nového modelu, ale v praxi často práve ona rozhoduje o tom, či produkt umelej inteligencie zostane pôsobivý len v ukážkach, alebo bude spoľahlivo fungovať aj v reálnom svete.