Kristen Stewartová ztvárnila jednu z hlavních rolí v upírské sérii Twilight, která svého času uhranula každé náctileté děvče od New Yorku pro Brno. Snad i proto vzbudila na internetu pozornost zprávička, že Kristen umí nejen točit pro holky, ale i psát pro vědce, aktuálně se totiž může pochlubit spoluautorstvím studie publikované v akademickém archivu Arxiv.
Jmenuje se Bringing Impressionism to Life with Neural Style Transfer in Come Swim a Kristen v ní společně s producentem ze Starlight Studios Davidem Shapiro a výzkumníkem Bhaitikem J. Joshim z Adobe popisují, jak použili strojové učení pro přenos grafického stylu z impresionistické kresby na krátkometrážní snímek Come Swim.
Přenesení grafického stylu kresby uprostřed na vstupní filmové okénko pomocí modelu strojového učení
Obecná technika neural style transfer, kterou si třeba s pomocí Google TensorFlow a modelů vystavených na GitHubu můžete vyzkoušet i vy, funguje následovně.
Nejprve potřebujete výkonný počítač se strojovým učením, které projde pixel po pixelu modelovou malbu a naučí se její kompletní charakteristiku – tedy jak vypadají linky, stíny, barvy. Prostě vše.
Hotový model pak lze aplikovat na jakoukoliv vstupní grafiku a neuronová síť na ni opět naučený styl. Na první pohled to tedy vypadá, jako byste na fotografii aplikovali běžný a často krajně kýčovitý barevný styl, ve skutečnosti se ale za vším skrývají hodiny náročných výpočtů.
Kristen společně s experty stejným způsobem upravila barvy svého sedmnáctiminutového snímku, a je tak jednou z prvních, která pro grafický postprocessing použila počítačovou neuronovou síť.
Podobná technika přenesení stylu pomocí modelu pro strojové učení TensorFlow
Na GitHubu narazíte třeba na projekt Fast Style Transfer studenta Logana Engstroma z MIT, který spojil několik dalších prací k tomu, aby mohl použít hromadu modelů pro TensorFlow, které se pokoušejí přenést grafický styl z maleb slavných autorů na vaši fotografii. Takhle pak ono přenesení vypadá v praxi:
Vstupní fotografie
Edvard Munch, Výkřik přenesený na moji fotografii
Leonid Afremov, Rain Princess přenesená na moji fotografii
Hokusai, The Great Wave off Kanagawa přenesená na moji fotografii
Francis Picabia, Udnie přenesená na moji fotografii
