10 pogostih napak pri ustvarjanju videov z umetno inteligenco in kako jih odpraviti

Uvod

Večina napak pri generiranju videov z umetno inteligenco ni skrivnostna. Spadajo v majhno število ponavljajočih se kategorij, in ko je vzorec prepoznaven, je popravek običajno hiter. Kar zapravlja čas, je obravnavanje vsake napake kot nekaj novega ali – še huje – ponovno poskušanje z enako zahtevo, ki bo deterministično spet spodletela, pri čemer se vsakič porabijo krediti.

V nadaljevanju je navedenih deset napak, s katerimi se najpogosteje srečujem v Seedance 2.0 in podobnih modelih, v približnem vrstnem redu glede na to, kako pogosto se pojavljajo, skupaj z dejanskim načinom rešitve vsake od njih.

1. Zahteve se ne uspešno izvedejo, potem ko integracija, ki je prej delovala, preneha delovati

Integracija, ki je mesece delovala brez težav, začne vračati napake povezave ali napake pri avtentifikaciji, čeprav se koda ni spremenila. Običajni vzrok je premaknjena končna točka.

To se je zgodilo v večjem obsegu v začetku tega leta, ko se je Seedance2.ai preselil na Seevio.ai – osnovni URL API-ja se je spremenil skupaj z domeno, zato integracije z gostiteljem, vpisanim v pot zahtevka, niso več delovale, medtem ko je bilo za tiste, ki so se usmerjale prek enega samega konfigurirljivega osnovnega URL-ja, potrebno posodobiti le eno vrednost. Samih ključev za avtentifikacijo to ni prizadelo. Podrobnosti o tem, kaj se je spremenilo in kaj se je preneslo, zajemajo specifične podrobnosti.

Splošno spoznanje je vredno upoštevati ne glede na ponudnika: trdno zakodirani gostitelji so tveganje, osnovni URL v konfiguraciji pa se lahko nastavi brez stroškov in vam kasneje prihrani neprijetno popoldne.

2. Naloga nikoli ne zapusti čakalne vrste

Predložena naloga ostane v stanju čakanja v vrsti še dolgo po tem, ko je minil pričakovani čas generiranja. To skoraj nikoli ni napaka v nalogi – gre za globino čakalne vrste, ki se spreminja glede na splošno obremenitev platforme in je najmanj predvidljiv del poteka.

Rešitev je potrpežljivost in časovna omejitev. Zanke za preverjanje stanja potrebujejo dovolj velik skupni časovni limit, da pokrijejo najpočasnejše realistično renderiranje, po izteku katerega se naloga opusti, namesto da bi se zadrževala v nedogled. Vse, kar je namenjeno uporabnikom, mora izrecno sporočati stanje v čakalni vrsti, namesto da prikazuje neskončen vrteči se simbol, saj uporabnik, ki štiri minute opazuje vrteči se simbol, domneva, da izdelek ne deluje.

Kjer so čakalne dobe v vrsti dosledno dolge, je rešitev hitrostno optimizirana stopnja Seedance 2.0. Za pripravo osnutkov ni potrebna najvišja stopnja, saj se obdelava zaključi precej hitreje.

3. Nepodprta vrednost trajanja se zavrne

Zahteva vrne napako pri preverjanju veljavnosti parametra trajanja, čeprav je vrednost znotraj dokumentiranega obsega.

Trajanje v Seedance 2.0 ni neprekinjeno območje. Sprejema fiksni nabor dovoljenih vrednosti, vse vrednosti med njimi pa se zavrnejo, namesto da bi se zaokrožile na najbližjo dovoljeno možnost. Vnos sedmih sekund, ko sprejeti nabor vključuje šest in osem, povzroči napako, namesto da bi se ustvaril šestsekundni posnetek.

Rešitev je, da vnos omejite na ravni aplikacije – s spustnim menijem ali izčrpnim seznamom namesto s prostim številčnim poljem –, tako da neveljavna vrednost nikoli ne doseže API-ja.

4. Zahteva je zavrnjena zaradi filtriranja vsebine

Pošiljanje je zavrnjeno še pred začetkom generiranja. Običajno gre za ujemanje s pravilnikom o vsebini in ne za nepravilno oblikovano zahtevo.

Pogosta presenečenja so posredna: opisi nasilja v očitno izmišljenem kontekstu, sklicevanja na javne osebnosti, imena blagovnih znamk in občasno običajne formulacije, ki se ne ujemajo z vzorcem filtra. Problem se običajno reši s prepisovanjem posamezne klavzule namesto celotnega vnosa, pri čemer je za ugotavljanje, katera klavzula je problematična, treba klavzule odstranjevati eno po eno.

To je vredno vgraditi kot ločeno stanje napake in ne kot splošno napako, saj bo ponovni poskus z identičnim zavrnjenim ukazom vedno ponovno zavrnjen.

5. Obraz se med gibanjem popači

Izhod je v prvem okviru v redu, vendar se kakovost poslabša, ko se subjekt premika, zlasti pri zavojih in spremembah izraza.

Večino tega je mogoče odpraviti na dva načina. Prvi je, da zahtevate manj: majhni premiki iz ostrega začetnega okvirja se dobro ohranijo, medtem ko se popačenje pojavi pri popolnih obratih, hoji proti kameri in velikih spremembah izraza. Drugi je, da namesto opisovanja osebe v besedilu zagotovite referenčne slike. Seedance 2.0 sprejme do devet referenc v enem generiranju, obraz, ki je zagotovljen kot referenca, pa se ohrani veliko bolje kot obraz, opisan z besedami.

Pomembna je tudi ostrina izvorne slike. Mehki ali delno zakriti obraz v vhodnih podatkih ustvari obraz, ki se med gibanjem razblini.

6. Utripanje ali tresenje gibanja

Posnetek je nestabilne kakovosti – površine se lesketajo, drobni detajli se premikajo, teksture pa ne ostanejo na mestu.

To se kaže predvsem v drobnih, ponavljajočih se podrobnostih: zapletenih vzorcih, majhnem besedilu, gostem listju, laseh v določenih merilih. Pomaga poenostavitev opisanega motiva, prav tako pa tudi zvišanje stopnje ločljivosti v Seedance 2.0, saj je artefakt bolj viden pri nižjih ločljivostih.

Povzročajo ga tudi protislovna navodila. Navodilo, ki zahteva tako statično kamero kot široko gibanje, povzroči konflikt, ki se reši z nestabilnostjo namesto z izpolnitvijo katerega koli od navodil. Pred oddajo je vredno ponovno prebrati navodila, da se preveri njihova notranja doslednost.

7. Referenčna slika je nepričakovano obrezana

Prvi okvir, ki je bil posredovan, se v izhodni sliki zdi odrezan ali preoblikovan.

Gre za neskladje razmerja stranic. Izvorna slika v razmerju 4:3, ki je bila ustvarjena v razmerju 9:16, mora nekaj izgubiti, pri čemer se brez vašega posredovanja določi, kaj bo izgubila. Rešitev je, da pred oddajo uskladite razmerje izvorne slike z razmerjem ciljnega izhoda – namerno obrežite sliko, namesto da pustite, da jo proces obreže samovoljno.

Če sliko ustvarite že v ciljnem razmerju, namesto da jo najprej ustvarite v širšem formatu in jo nato obrežete, se izognete istemu problemu v nadaljevanju procesa. Seedance 2.0 podpira celoten spekter razmerij, vključno z 21:9, 16:9, kvadratnim in vertikalnim, zato je redko potreben ponovni kadriranje v postprodukciji.

8. Besedilo na zaslonu se prikaže kot nesmiselne črkovne oblike

Napisi, besedila na embalaži, etikete in podnapisi se prikazujejo kot približki pisave namesto kot čitljive besede.

To je znana omejitev vseh trenutnih video modelov in ne napaka, ki jo je mogoče odpraviti. Besedilo generacije ne preživi zanesljivo, in nobena sprememba besedila v ukazih tega ne spremeni.

Rešitev v delovnem toku je dodajanje besedila v postprodukciji, kjer bo ostrejše, urejljivo in lokalizirano. Izdelke z besedilom na embalaži je še vedno mogoče ustvariti iz referenčne slike, vendar ne smemo pričakovati, da bo besedilo na embalaži ostalo čitljivo v gibanju.

9. Porabljeni so bili krediti, vendar ni bil pridobljen uporaben izhod

Naloga poroča o zaključku ali neuspehu, potem ko se je obdelava že začela, stanje pa se je spremenilo.

Neuspele generacije, ki se pojavijo po začetku obdelave, na splošno porabijo kredite, saj je bil računalniški čas porabljen ne glede na to, ali je bil rezultat uporaben. To je vredno razumeti, namesto da se o tem sporečamo, in je najmočnejši argument za delovni tok »osnutek-potem-končna različica« v Seedance 2.0: razvoj navodil poteka v najkrajšem času in z najnižjo ločljivostjo, kjer neuspeli poskus stane zelo malo, pri nastavitvah za dostavo pa se izvajajo le potrjena navodila.

Kadar se stanje resnično ne ujema – odšteti krediti brez ustreznega zapisa naloge –, je referenčna točka zgodovina transakcij, podpora pa od tam obravnava neskladje.

10. Navodilo kamere se ne upošteva

Določeni premik se ne izvede ali se namesto tega zgodi nekaj drugega.

Za skoraj vse to so krivi trije vzroki. Preveč navodil naenkrat: ukaz, ki v nekaj sekundah zahteva potisk, premik kamere in spremembo ostrenja, povzroči zmedeno gibanje namesto treh izvedenih premikov. Pravilo je en premik na posnetek. Nejasna terminologija: opisni izrazi delujejo slabše kot standardni kinematografski izrazi, Seedance 2.0 pa se natančno odziva na tehnični besednjak, medtem ko ohlapne opise obravnava kot predloge. In nemotivirani premiki: kamera, pritrjena na nekaj v kadru – ki sledi motivu, razkriva podrobnosti – se izvede bolj koherentno kot abstrakten premik.

Splošna metoda

Pristop k odpravljanju napak, ki prihrani največ časa, je spreminjanje ene spremenljivke na poskus. Ko generacija razočara in se hkrati prilagodijo tri stvari, naslednji rezultat ne vsebuje informacij o tem, katera sprememba je bila pomembna.

Ohranjanje parametra »seed« v Seedance 2.0 konstantnega to naredi precej bolj učinkovito, saj odstrani variacije vzorčenja in izolira učinek urejanja navodila. V kombinaciji z osnutki v nizki ločljivosti spremeni odpravljanje napak iz ugibanja v nekaj, kar je bližje nadzorovanemu testu – kar je razlika med rešitvijo problema v štirih poskusih in porabo štiridesetih kreditov, ne da bi kaj odkrili.