Přední český vědec z oblasti umělé inteligence, který stojí za takovými projekty jako je word2vec či novější FastText, zavítal do Česka a kromě přednášek na ČVUT, které uspořádala agentura dreamBIG, si udělal čas i pro čtenáře Živě.
Říkali mi, že dělám na nesmyslech
Tomáš Mikolov studoval na univerzitě v Brně a jeho dizertační práce se zabývala využitím rekurentních neuronových sítí pro práci s jazyky. V té době mu ale i zkušení oponenti tvrdili, že dělá na nesmyslech a měl by toho co nejdříve nechat. Že prý jde o slepou uličku a kdyby to bylo tak jednoduché, tak už je to dávno takhle vymyšlené. Budoucnosti je prý ruční specifikace s využitím statistických modelů.
Nejnovější experiment Googlu: k selfie vám umělá inteligence „vymyslí“ básničku
Nejhorší na tom je, že v dizertační práci měl Tomáš Mikolov skutečné výsledky. „Některé zřejmé věci lze vidět až po tom, co jsou hotové, použitelné a rozšířené. Že něco nejde, je často nějaké obecné staré tvrzení, které se pravidelně omílá i ve vědeckých materiálech, aniž by se někdo pokusil vše znovu prověřit a vyzkoušet s novými postupy,“ popsal Tomáš Mikolov.
Právě na tomto příkladu Tomáš Mikolov ukazuje, že pokud si myslíte, že jdete ve vývoji dané technologie správným směrem a máte to alespoň trochu ověřené, neměli byste se vzdávat a nechat odradit „staršími“, kteří často nevidí nové možnosti a mají omezené pohledy na nové věci.
Vědecké materiály často za moc nestojí
Nové vědecké pokroky je nutné velmi kvalitně sepsat do vědeckého materiálu. Tomáš Mikolov ale prozradil, že věda minimálně z jeho pohledu do oblasti umělé inteligence, je plná vědeckých materiálů, které nemají naprosto žádný význam nebo netvoří posun v oboru.
Dle jeho je kvalitních materiálů, které něco posouvají dále, jen třeba 5 až 10 % a zbytek si „úspěchy - state of the art“ schovávají za speciální srovnávací metriky, které jsou například desítky let staré, testují své modely na extrémně specifickém datasetu a využívají podobných fíglů, aby jejich práce vypadala dobře. Těch možností jak vědecké práce ohnout, je opravdu mnoho.
„Je to jako kdyby jste se vyhlásil rekordmanem v maratónském běhu. Ale v detailu materiálu se pak dozvíte, že se jedná jen o jeden atypický běh, do kterého se přihlásili konkurenční běžci pouze s jednou nohou a kteří u toho žonglovali a vlastně ani nakonec neběželi, protože pršelo a celé se to odehrávalo v horách,“ upřesnil Tomáš Mikolov.
Tito vědci pak z toho mají samozřejmě granty a další výhody, které jsou spojené s generováním vědeckých materiálů. Většinou jde zkrátka o povinné aktivity a splněné „úkoly“, než o opravdové vědecké práce.
Práce na překladači Google
Po krátké práce v Microsoftu Tomáš od roku 2012 do roku 2014 pracoval i v Googlu, kde se dostal do velmi úzké skupiny výzkumníků v rámci Google Brain. Tomáš hlavně spolupracoval s týmem Google Translate, který potřeboval zlepšovat neuronové sítě pro využití překladů.
Jednalo se ale o dlouhý vývoj, protože nasazení nových technologií na produkci bylo až o několik let později, konkrétně v roce 2017. Důvodem je také to, že novou technologii je nutné i optimalizovat z pohledu výpočetní náročnosti.
Překladač Googlu není jediný: Jak na překlad textu na internetu
Když totiž automatický překlad používá denně desítky milionů lidí a překládá se obrovské množství textu, je nutné výpočetní náročnost snížit na co nejnižší hodnoty, jinak by se zjednodušeně řečeno ani Google nedoplatil na serverových nákladech.
Google Brain měl v té době pouze kolem 20 lidí, stejně jako Google Translate. Jedná se tak o poměrně malé týmy, které ale zahrnují ty nejlepší z nejlepších, kteří v menším týmu efektivněji komunikují a spolupracují.
Google Brain: Vědci z Kalifornie proti sobě postavili tři umělé inteligence. Začaly spolupracovat
Google Brain měl být mostem mezi nejpokročilejším výzkumem umělé inteligence a jejich použitím v různých produktech Googlu. Dle Tomáše ale částečně probíhal i obecný výzkum, který nemusel být cílený k nějakému konkrétnímu nasazení k danému produktu, ale obecnému posouvání teoretických principů ve strojovém učení, hlubokých neuronových sítí a podobně.
Současný stav automatických překladů
Tomáš Mikolov už se dnes sice nezabývá vývojem neuronový sítí a algoritmů pro zpracování řeči a jazyků, stále si ale udržuje přehled v tom, jak vývoj v této oblasti postupuje.
Dle jeho slov se obecně postupuje směrem k tomu, že se používá větší množství trénovacích dat, zvyšuje se rovněž kvalita trénovacích dat a dochází i ke zlepšování algoritmů a zvětšování modelů. V určitých oblastech už je překlad dostatečný pro běžné použití a to platí pro mnoho jazyků.
Google překladač obsahuje podivnou chybu. Generuje zlověstná náboženská proroctví
Platí to například u recenzí restaurací a podobně, kde nevadí to, že jedno slovo je špatně. Každopádně tato „dostatečná kvalita“ se postupně rozšiřuje do více oblasti. Problém s nasazením automatických překladů s využitím neuronových sítí do různých specifických oblastí brání obvykle nedostatek trénovacích dat, což znamená i nižší kvalitu překladu. Typický rozdíl je mezi podrobným vědeckým článkem proti běžnému novinovému článku. Každopádně ale dochází k neustálému postupnému zlepšování.
Oslovil ho sám Mark Zuckerberg
Ještě v době, kdy Tomáš Mikolov pracoval v Googlu, ho oslovil e-mailem přímo Mark Zuckerberg, který nabíral „ty nejlepší“ do nového vědeckého týmu Facebooku, který měl být zaměřený právě jen na umělou inteligenci.
Problémy Facebooku podle Zuckerberga do 5-10 let vyřeší umělá inteligence
Oproti práci v Googlu se navíc mělo jednat o více teoretický a pokročilý obecný výzkum, což Tomáše oslovilo a nakonec tedy přešel do Facebooku, kde je dodnes.
Výpočetní výkon není problém
Pokud jde o schopnosti umělé inteligence ve spojení s dostupným výpočetním výkonem, existuje podle Tomáše poměrně velká fáma, kdy se s vyšším výpočetním výkonem dostaneme dále a získáme chytřejší umělou inteligenci.
Tento pohled platí možná pro jednoduché věci typu šachy nebo Go, ale například u strojového překladu či dokonce ještě složitějších věcí vůbec není problém samotný výpočetní výkon, ale právě samotné algoritmy, které jsou omezující.
I milionkrát vyšší výpočetní výkon u současných algoritmů pomůže jen velmi málo. Obecně se tak nečeká na výkonnější hardware, který by umožnil chytřejší umělou inteligenci, ale pokročilejší algoritmy. Právě ty hrají roli v tom, co a jak se AI s daným výkonem naučí v různých oblastech.
Superinteligence bude „spíše“ hodná
Tomáš Mikolov na rozdíl od Elona Muska a dalších patří mezi optimisty a myslí si, že pokud jednou vznikne nějaká obecná umělá inteligence či superinteligence, bude mít pozitivní efekt na svět. I to je důvod, proč v této oblasti pracuje.
Podle něj je to porovnání rizik mezi tím, co by se stalo, kdybychom takovou pokročilou superinteligenci nevyvinuli. Sami nedokáže předvídat komplexní světové události a návaznosti v dlouhodobém měřítku. A právě takové věci by mohla superinteligence efektivně řešit a hlídat to, abychom si sami nezničili vlastní prostředí a jedinou obyvatelnou planetu „široko daleko“.
Umělá inteligence je větší hrozbou než Severní Korea, říká Elon Musk
Riziko důsledků našich technologií v průmyslu a dalších oblastech je z jeho pohledu vyšší, než riziko, že by vznikla nenávistná superinteligence, která by zničila světa. „Současní politici řeší jen to, co se stane v jejich volebním období, ale my potřebujeme přemýšlet více do budoucna a plánovat desítky či stovky let dopředu, což by mohla řešit budoucí superinteligence,“ upřesnil Tomáš Mikolov.
Tomáš také věří v transhumanismus, tedy že umělá inteligence rozšíří tu naší současnou, lidstvo tak bude chytřejší a umělá inteligence nás tak obecně zachrání v dalším vývoji.
Budoucnost vidím v komplexních adaptivních systémech
A jaká je dle Tomáše budoucnost umělé inteligence a na čem pracuje? Podle jeho slov jsou současné systémy zahrnující strojové učení, neuronové sítě nebo třeba hluboké neuronové sítě omezující z toho pohledu, že jejich schopnosti konvergují a velmi rychle narazí na strop toho, co se dokáží naučit.
Tomáš Mikolov
Oproti tomu stále poměrně málo prozkoumané komplexní adaptivní systémy, ve kterých může docházet k evoluci, i když se u nich nedefinují žádné fitness funkce, taková omezení nemají. Tyto systémy se tak mohou neustále dynamicky rozvíjet v čase. Nápady o těchto systémech už měl i Richard Feynman v minulém století.
Tomáš má tak v plánu na těchto systémech pracovat s vybranými studenty a zase potenciálně vyvinout něco, co ještě nikdo před ním nedokázal.
