AI videoklip: Umělá inteligence ve službách lokálních kapel

Když jsem zhruba před rokem dával dohromady kapelu Dive in Life, věděl jsem, že mě čeká klasické kolečko prvního roku v kapele. Sehnat členy, napsat a nazkoušet repertoár, natočit pár singlů a domluvit první koncerty. Nechci dneska brečet o psychických újmách způsobených snahou sehnat spolehlivé muzikanty, ani o silných myšlenkách pochybování o sobě samém v době, kdy se nedostávalo inspirace pro psaní dostatečného množství songů na koncertní setlist, takže jen řeknu, že přes obě tyhle fáze jsme se s Dive in Life dostali a jsme ready všechno pořádně nazkoušet a odjet koncertní šňůru.

Nemáš klip, nejsi vidět

Předtím ale považuju za hodně důležité natočit alespoň dva singly, nejlépe s videoklipem. Proč? Protože když se v dnešní době, kdy na metr čtvereční Brna existují tři miliardy kapel, snažíš domluvit nějaké hraní, je rozhodně výhodou mít v ruce nějakou ukázku toho, co tvoje kapela vlastně hraje. Je pak mnohem vyšší šance, že na koncert dojde třeba i někdo jiný než máma s tátou, přítelkyně a kolega z práce. Naši by navíc nedošli, páč jsou ze severních Čech.

Hudební produkce s nahráváním pro nás není problém, ale s čím jsem ve všech svých kapelách vždycky válčil, jsou klipy. První singl dostal lyrics video, ale pro druhý jsem trval na tom, aby to bylo něco vizuálně zajímavého, originálního. A protože máme v kapele v různém rozložení přítelkyně, manželky, děti, novorozeňata, těhotné a hypotéky, uplně nám nezbývalo sto táců na profesionálně vytvořený klip se scénáristou, režísérem a střihačem.

Naštěstí je rok 2023 a já jsem v civilním životě ajťák (klišé jak blázen, ja vím), takže jak na zavolanou spadla z nebe úplně nová možnost, která tu ještě nedávno nebyla. Jmenuje se umělá inteligence.

AI jako režisér, kameraman i střihač

K možnosti vygenerovat klip pomocí AI jsem došel vlastně poměrně šťastnou náhodou. Roky absolutně miluju Linkin Park, tatér budiž mi svědkem. Když jsem po vydání Lost zjistil, že animovaný klip k téhle písni byl vytvořený za pomoci umělé inteligence, začal jsem se pídit po tom, jak se to dá udělat. A zjistil jsem, že to není uplně jaderná fyzika. Takže stejně jako už mnohokrát v životě – díky, Linkin Park.

Nástroj, který jsem použil, se jmenuje kaiber.ai. Kdybych to měl shrnout, je to vlastně webová aplikace pro zádávání instrukcí enginu umělé inteligence, na jejichž základě pak umí vygenerovat a vyrenderovat video. Kvůli své profesní deformaci nejsem schopný zhodnotit, jestli to zní strašlivě složitě, nebo úplně triviálně, takže prostě vysvětlím, jak jsem s tím pracoval já pro naši kapelu, a ty pak třeba zjistíš, že to chceš použít taky.

Chytrá umělá inteligence

Postup pro vytvoření prvních několika vteřin videa je následující. Aplikaci dáš k dispozici hudbu a výchozí obrázek. Hudbu nahráváš proto, že Kaiber umí dynamiku videa přizpůsobit dynamice hudby, což je super. Obrázek nahráváš proto, že díky tomu víš, jakým snímkem bude video začínat (proč to pro mě bylo důležité, popíšu vzápětí).

Další krok je zadání požadavků (promptů). Zadáš, co chceš mít ve videu a v jakém stylu to má být. Příkladem budiž žirafa na koloběžce, která jede po měsíčním povrchu, ve stylu animovaného filmu Tima Burtona. Na závěr vybereš nějaké parametry jako rychlost videa nebo pohyb kamery. Generovat. Uložit. Tadá.

Pro náš klip jsem si rozdělil song na jednotlivé části, jako sloky, refrén, bridge a podobně a generoval jsem každou z nich zvlášť. To proto, že jsem chtěl přímo ovlivňovat, v jaké části videa se bude dít která věc. Tady se mi hrozně hodila možnost nahrání iniciálního obrázku – díky tomu, že jsem si udělal screen posledního obrázku videa vygenerovaného pro první sloku, mohl jsem ho pak použít jako první obrázek pro generování refrénu, což mělo za důsledek jednolitost konečného výsledku, kdy jsem jednotlivé části lepil dohromady.

Hloupá umělá inteligence

Když něco zní až moc dobře, zpravidla to není pravda. Alespoň to se mi vždycky lidi chytřejší než já snažili vštípit. Takže nemůžu nezmínit i nějaká negativa.

1. výsledek je totálně nepředvídatelný. Po zadání promptu prostě dostaneš video a když se ti nelíbí, můžeš začít znova. Jenže každé video stojí kredity, které poměrně rychle docházejí. Ale stojí to fakt jen pár peněz, takže trága to není.
2. musíš opravdu detailně zkontrolovat každý záběr. Jeden z nejznámějších problémů obrázků generovaných AI jsou lidské ruce. Umělá inteligence nepřemýšlí objektově. Nekreslí ruku, ale změť pixelů tak, aby výsledek co nejvíc odpovídal obrázkům, o kterých se kdysi naučila, že jsou na nich ruce. Zkus se někdy podívat na AI generovaný obrázek lidských rukou a je velmi pravděpodobné, že nebudou mít úplně správný počet prstů. Tak na to pozor.
3. samozřejmě jsem se potýkal i s různým neporozuměním zadání. Nemám problém uznat, že tím blbcem můžu být já, ale mám pocit, že pokud jasně zadávám, že chci černobílé video s jemnými červenými detaily, je moje překvapení z videa, kde dominuje žlutá barva, opodstatněné.

Nic z toho ale nebyl deal breaker, protože jsem stejně měl v plánu video poskládat z jednotlivých částí sám a potom provádět nějaké dobarvování, aplikaci filtrů a podobně, takže jsem si s tím nakonec poradil.

(Ne)morální umělá inteligence

Jo, je potřeba se vyjádřit i k tomu slonovi v místnosti. AI s sebou nese poměrně silnou morální problematiku. Přijdou kvůli ní o práci grafici? Nahradí AI animátory, malíře, režiséry, umělce? Myslím, že ne, a proto je moje svědomí, co se týče AI generování, čisté. Pokusím se vysvětlit, proč.

Jak už jsem říkal, motivací pro klip vytvořený tímhle způsobem pro mě kromě technické zábavnosti a zvědavosti byly i finance. Pro nás byla možnost buď AI, nebo nic. Chápu, že to může působit jako alibismus, ale kvůli našemu klipu žádný animátor o práci nepřišel prostě proto, že bychom ho nenajali tak jako tak.

Ale primárně jsem v klidu proto, že AI má, jak už jsem zmínil, poměrně velké množství problémů. A ten největší, o kterém jsem zatím nepsal, je ten nejdůležitější: výsledky jsou zoufale nepružné. Když si znovu přečteš, jak jsem postupoval při navazování jednotlivých částí, kdy poslední obrázek sloky je zároveň prvním snímkem v refrénu, dojde ti, že kdybych se na konci rozhodl upravit nějakou část klipu vprostřed songu, jsem těžce v háji. Nejde to – prostě proto, jak na sebe jednotlivé části navazují a proto, že nemám jednotlivá videa kompletně v ruce, nejsem schopen se například na konci rozmyslet, že „všechno super, ale borec v prvním refrénu ať má na očích jiné brýle“. Smůla. Animátor naopak tuhle možnost má, protože on toho borce v refrénu skutečně nakreslil, drží v ruce zdrojové soubory pro každý jednotlivý snímek celého klipu a je schopen ho upravit na míru.

Což vyzdvihuje i další věc, ve které je animátor diametrálně odlišný od AI. On pracuje na základě zadání. Dopředu ví, jak bude výsledek vypadat. Každou věc, kterou kreslí, dělá vědomě. AI ne. Zadáš příkaz a čekáš, co vypadne. Pořád v tom velkou roli hraje náhoda.

Takže ne, nebojím se o grafiky. Kdo na to má peníze a hlavně chce něco velmi konkrétního, vždycky si radši vybere práci s člověkem, s kterým se dá domluvit. A samozřejmě je potřeba zmínit, že jde o trend. Viděl jsem několik klipů generovaných Kaiberem, a i když je každý jiný, je poznat, že to dělal stejný engine. Prostě to je vidět, stejně jako je jasně slyšet, když jsou v nahrávce bicí srovnané a samplované. Teď je to v módě, ale časem se lidem přejí, jak všechny klipy začínají vypadat stejně.

Závěrem

AI je nástroj jako každý jiný. Má řadu úžasných možností, má i řadu nevýhod. Není to magická skříňka, kam zadáš „chci klip“ a pak se stane zázrak. Ale je to výborné řešení pro menší kapely, které chtějí animaci a jsou ochotny pro to dělat ústupky z požadavků. Jestli bych to doporučil ostatním kapelám? Určitě jo. Ale teď, než to udělají všichni. Jo, a mrkni na náš výsledný klip.