Vědec Tomáš Mikolov: Češi se zbytečně podceňují, pracuji na opravdovém umělém životě
Tomáš Mikolov patří k české vědecké špičce v oblasti umělé inteligence (AI). Během své kariéry už stihl pracovat pro Google, Facebook nebo Microsoft, letos se ale vrátil bádat zpět do Česka do Českého institutu informatiky, robotiky a kybernetiky patřící pod ČVUT. „Nejvíce mě zajímá základní vývoj,“ říká v rozsáhlém rozhovoru pro Digibiz.cz
Světově uznávaný vědec Tomáš Mikolov získal uznání odborné i široké veřejnosti tím, že díky vytvoření nových modelů neuronových sítí výrazně vylepšil fungování aplikací pro rozpoznávání a zpracování jazyka, což zaujalo největší světové technologické firmy. Jeho řešení využil Google například ve svém strojovém překladači. Zkušenosti ale má z dalších výzkumných týmů známých technologických firem jako je Facebook nebo Microsoft.
„Největším překvapením pro mě bylo, že i když jsem v korporacích našel super chytré lidi, uvědomil jsem si, že my jako Češi dost trpíme malostí myšlení,“ říká v rozhovoru pro Digibiz.cz, který se uskutečnil při příležitosti říjnové konference Týdne inovací ve Fóru Karlín. „Podle mě se zbytečně podceňujeme, často i navzájem,“ dodává k tomu.
Letos se Mikolov po osmi letech v zámoří vrátil do Česka a stal se vedoucím výzkumné skupiny Českého institutu informatiky, robotiky a kybernetiky (CIIRC), který je součástí ČVUT v Praze.
„Osobně chci vymyslet tu opravdovou umělou inteligenci. Na tom se sice dá dělat kdekoliv, ale v korporacích jsem měl dojem, že mě dost brzdí byrokratické věci,“ říká Mikolov.
Překvapilo vás něco na způsobu vývoje u velkých technologických firem?
Největším překvapením pro mě bylo, že i když jsem v korporacích našel super chytré lidi, uvědomil jsem si, že my jako Češi dost trpíme malostí myšlení. V amerických firmách jsem se totiž setkával s Francouzi, Američany a mnoha dalšími národnostmi, kteří toho často věděli méně než čeští studenti, ale měli daleko větší sebevědomí. A pak jsem viděl, jak určitý technický problém řešili rok dva a moc jim to nešlo, přitom třeba dobrý student Matfyzu nebo ČVUT by ho vyřešil relativně rychle. Češi se ale do těchto firem moc nedostávali.
Češi se tedy neumí prosadit?
Podle mě se zbytečně podceňujeme, často i navzájem. Když ale máte zahraniční zkušenost, tak pro vaše sebevědomí je to dobré. Protože ne každý, kdo dělá v Silicon Valley, je génius. A když tam člověk stráví určitý čas, zjistí, že spousta věcí je jednodušších, než by se mohly zdát.
Proč jste opustil tyto lukrativní americké technologické firmy, kde by jistě rád pracoval každý, a vrátil jste se do Česka na akademickou půdu. Táhne vás to spíše k základnímu výzkumu?
Jasně. Osobně chci vymyslet tu opravdovou umělou inteligenci. Na tom se sice dá dělat kdekoliv, ale v korporacích jsem měl dojem, že mě dost brzdí byrokratické věci. Některé metriky byly nastaveny tak, že už jen z nich bylo vidět, že pro firmu jsou důležité hlavně aplikace. Mě ale vždy spíše bavilo přicházet s novými nápady, které mohou vést na přelomové zlepšení technologií, spíše než inkrementální zlepšování stávajícího.
V čem je podle vás akademická sféra lepší?
Akademická sféra může mít ty výhody, že má větší odstup od věcí, které se právě používají. Takže, když chci vyvinout něco nového, tak akademická půda je jednodušší pro svobodu myšlení. Mohl jsem pokračovat ve svém výzkumu na některé americké univerzitě, ale Česko je fajn země, žije se tu dobře, nemáme velké sociální nepokoje, není tu rozdělení společnosti podobně jako v Americe.
Je to tu klidnější, zajímavější, pro mě i hezčí. To ale zjistí člověk až po pár letech života v Silicon Valley. Sice tam je stále pěkné počasí a spousta peněz, ale když se chcete podívat třeba do centra města, tak tam vlastně žádné město není, není tam kromě práce moc co dělat.
Chtěl jsem mít blíže k základnímu výzkumu a dělat se studenty, kteří ještě nemají takové to tunelové vidění, jaké mají často starší vědci. Ti zpravidla umí dobře jednu věc, kterou dělají stále dokola. Když si takto chcete vydělat peníze, je to fajn, ale pro mě opakování jedné věci není příliš zábavné.
Peníze pro vás nejsou důležité?
Ve Spojených státech jsem dělal v době, kdy expertů na neuronové sítě bylo hodně málo, takže nám platy šly raketově nahoru, protože se o nás přetahovaly firmy. S penězi tedy problém určitě nemám, nemusím se tak ohlížet na to, kolik mi kdo zaplatí. Naopak bych si mohl třeba založit vlastní firmu.
A založíte?
Časem možná ano. Nejvíce mě ale zajímá základní výzkum, jak opravdu vytvořit umělou inteligenci. Je pak otázkou, co si člověk slibuje od toho, když založí startup. Vydělávání peněz není moje hlavní motivace. Pokud bych si založil startup, bylo by to o tom sehnat peníze spíše pro ostatní lidi, abych mohl mít větší tým. Ale to se dá dělat i na té univerzitě, kdy člověk shání různé granty a z toho pak může zaplatit studenty. Což jsem vlastně řešil poslední rok.
Obecně mi ke štěstí stačí, když kolem sebe budu mít lidi, kteří mají podobné zájmy jako já, kteří ještě nemají tunelové vidění a mají potenciál a chuť vymyslet něco nového. A já tu chci vytvořit podmínky pro to, aby tady mohla vzniknout generace vědců, kteří přijdou s něčím jako dříve já, tzn. se skokovým vylepšením toho, co už existuje, nebo dokonce s něčím úplně novým, a udělat s tím díru do světa.
Na čem nyní děláte?
Můžu zmínit umělou evoluci. To je hodně starý nápad, podobně jako například umělé neuronové sítě. Ale nikdo jej zatím nevyřešil do bodu, že bychom měli matematický model, o němž bychom mohli prohlásit, že v čase se samovolně rozvíjí do složitosti, která je neohraničená, a že se v rámci tohoto modelu může vyvinout umělý život. To se jednoduše řekne, ale takový model zatím nemáme a nikdo pořádně neví, jak na to. Je tu sice X různých nápadů, ale vše je zatím nedotažené.
Myslím ale, že v rámci následujících tří, pěti, deseti let bychom to mohli s trochou štěstí „rozchodit“. Slibuji si od toho, že výsledkem budou modely, které se dokáží učit bez silné supervize, což je oblast, kde právě současné neuronové sítě selhávají. Tímto bychom dokázali řešit problémy, na které současné metody umělé inteligence nestačí, například v oblasti pochopení jazyka a konverzace. Dnes se strojové učení spíše používá tam, kde víme přesně, co by dané modely měly kdy dělat.
Můžete dát nějaký příklad?
Když mám třeba nástroj pro rozpoznávání obrázků, tak ten je trénovaný na datasetu sestaveném lidmi a v něm je spousta příkladů. Takto vypadá obrázek a takto vypadá to, co máš k obrázku napsat, tedy správnou odpověď. To je ta silná supervize. Takto vypadá vstup a takto vypadá správný výstup.
Ale existují problémy, kde máme jen vstupy, ale už nevíme přesně, jak mají vypadat výstupy, protože není možné vytvořit tak velkou databázi, nebo vůbec správné odpovědi neznáme. A pro takové problémy neuronové sítě dost dobře nefungují. Od umělé evoluce si tedy slibuji, že by mohla řešit potíže, které dnes řešit neumíme, což by mohlo vést ke vzniku nových produktů a aplikací, které zatím nelze vytvořit.
„Dnešní umělá inteligence je v podstatě statistika“
Jak teda dnes konkrétně neuronové sítě fungují?
Je to asi jako bychom vzali člověka, zmrazili jeho paměť v daném bodu a nechali ho vykonávat nějakou úlohu. Když ji bude vykonávat dobře, může ji dělat donekonečna. Ale jakmile dojde ke změně, k něčemu novému, člověk se zmraženou pamětí přestane dobře fungovat. Není možné mít funkčního inteligentního člověka, kterému se každých 5 sekund vymaže krátkodobá paměť a do dlouhodobé paměti si nic neuloží. To by byl dysfunkční člověk. A tím vlastně jsou dnešní neuronové sítě.
Jakmile je přestaneme trénovat a začneme je používat někde v praxi, tak jde pouze o statisticky zamrzlé modely, které vykonávají už jen jednu funkci a dál se nemění, nevyvíjí se. Chtěl bych vymyslet modely, které nejenže se budou učit dělat něco užitečného, ale zároveň v nich bude docházet k samovolnému rozvoji. Aby nebyly statické, aby se měnily s tím, jak se mění svět. Je potřeba ale mít matematický základ pro tuto umělou evoluci, respektive umělý život.
V jaké fázi se tedy vývoj umělé inteligence dnes nachází. Když to transformuju na životní období, tak je dnes miminem, dítětem nebo puberťákem?
Řekl bych, že jsme spíše na úrovni bakterie. Žádná sláva to dnes není. V umělé inteligenci jde o pár jednoduchých triků, ale jak spadne opona a člověk prohlédne to magické kouzlo za tím, tak zjistí, že to není nic záhadného, žádná inteligence se dnes v počítačích neschovává. Když člověk pronikne do strojového učení, zjistí, jak funguje, tak už to žádná magie není. I když jsou tyto techniky často velmi užitečné, k umělé inteligenci ale mají velmi daleko.
Je umělá inteligence jen hra se statistikou?
Kdybychom šli do extrémního příkladu, tak někdo může říct, že i lidé jsou jen statistika. Celá evoluce je jen statistika. Máme více genů, které přežívají v čase, množí se. Ty, které nepřežívají v čase, tak mizí. Všechno kolem nás je svým způsobem statistika.
Ale souhlasím s tím, že když někteří lidé mluví o umělé inteligenci, hodně přehání. Mluví se o umělých mozcích, vědomí a kdesi cosi. To je zcela mimo. Dnešní umělá inteligence je v podstatě statistika.
Mluvíte o tom, že je potřeba se posunout dál, vymyslet něco nového. Vidíte ale osobně už nyní nějakou next big thing, která přinese revoluci?
Už několik let zmiňuji zdravotnictví, a nejsem sám. To je obor, kde máme velké datasety, kde máme lidská rozhodnutí, o kterých víme, že se dají zpřesnit a urychlit za pomocí strojového učení.
Když si vezmeme evropskou populaci, která má přes půl miliardy lidí, tak kdybychom měli zdravotní záznamy z celé EU s tím, že by se dala vysledovat zdravotní historie člověka včetně jeho genového profilu i jeho příbuzných a tak dále, tak by lékařská rozhodnutí mohla být daleko přesnější.
Dnes, když jde třeba padesátiletý člověk k doktorovi s vysokým krevním tlakem a doktor mu má předepsat nějaké prášky, tak mi přijde, že je to rozhodování spíše na úrovni šamana než na úrovni 21. století. Vezměte si tento prášek, když nezabere, zkusíme jiný a budeme to zkoušet tak dlouho, než to bude fungovat.
Naproti tomu statistika a strojové učení může takové rozhodování výrazně zpřesnit. Rozhodnutí lékařů by pak s využitím počítačů bylo personalizované přímo pro každého jednotlivého pacienta. Bohužel, lidé mají vůči strojovému učení často neopodstatněnou nedůvěru. To jsem viděl například v lingvistice, kde se často hodně věcí řešilo přes lingvistickou analýzu. Měli jsme generace a generace lingvistů, kteří studovali třeba češtinu a zjišťovali, jestli předložka má být v dané části věty či jinde, jaký má význam, nebo kolik různých významů může mít.
Pak se objevily matematické modely jazyka, kterým se zpočátku lingvisté jako Noam Chomsky vysmívali, postupně je nenáviděli, a nakonec je matematické modely v praktických aplikacích jako je překlad naprosto rozdrtily. Dnes už víceméně vše v oblasti zpracování jazyka běží na neuronových sítích a ukázalo se, že všemožná pravidla sestavovaná lingvisty po desetiletí nejsou vůbec třeba.
A stejně tak to bude i ve zdravotnictví. V budoucnu budeme vědět, který lék nejlépe zabere s co nejméně závažnými vedlejšími účinky. Budeme vědět, co čekat od určité kombinace léků pro daného konkrétního pacienta. Doktoři budou v budoucnu používat počítače pro diagnózu, návrh léčby, prevenci a dále stejně automaticky, jako dnes používají rentgen. Jejich práce se tím zrychlí a zpřesní.
To mluvíte o řešeních, která už jsou dnes k dispozici a stačí je aplikovat…
Technologicky nemusíme vymýšlet nic nového, spíše by šlo o to vytvořit projekty na úrovni ministerstva zdravotnictví. Vše doktorům zpřístupnit takovým způsobem, aby to pro ně byla jasná přidaná hodnota a minimum nadbytečné práce. Aby je to neobtěžovalo, protože přece jen mnoho doktorů je starších, a ne všichni mají kladný vztah k novým technologiím.
Setkával jste se s tím, že firmy využívají umělou inteligenci jen proto, že je dnes sexy, dá se s ní marketingově pracovat, ale používají ji naprosto nevhodně, takže pak dané řešení pro ně vlastně nemá ani takový význam nebo přínos?
S tím jsem se samozřejmě mnohokrát setkal a byla to jedna z těch depresivnějších věcí. Člověk vidí, že sice dělá ve firmě, která má celosvětové jméno, ale ve skutečnosti spousta z inženýrů ve firmě vydrží v průměru méně než rok. To je velmi krátká doba. Lidé často přijdou, něco narychlo sesmolí, pak se to začne v produktech využívat, daný člověk odejde, přijde po něm někdo jiný, který udržuje systém, kterému už nerozumí a pak je z toho velký guláš. Člověku z toho až někdy vstávají vlasy hrůzou, když zjistí, co vše za nesmysly se používají v praxi tam, kde existuje jednoduché řešení.
Například?
Jako příklad můžu uvést projekt FastText, který jsme vyvinuli ve Facebook AI Research, který klasifikuje text. Například dokáže určit, jestli nějaký komentář je spam vytvořený robotem, nebo text napsaný člověkem. Ve stejné době konkurenční tým vytvořil projekt na klasifikaci textu pomocí rekurentních neuronových sítí, kterému jsem samozřejmě hodně fandil. Jenže dané řešení používali na problémy, kde takto komplexní řešení nebylo vůbec třeba. Takový ten klasický kanón na komára.
Ukázali jsme, že náš FastText funguje úplně stejně přesně, ale s tím, že byl asi tak deset tisíckrát rychlejší. Takže to, co jim trvalo několik týdnů, navíc na výkonných a drahých grafických kartách, jsme byli schopni udělat stejně dobře na jednom procesoru během pár sekund.