Tomáš Mikolov

Ing. Tomáš Mikolov, Ph.D.
Tomáš Mikolov (2020)
Tomáš Mikolov (2020)
Narození8. října 1982 (42 let)
Šumperk
BydlištěPraha
Alma materVysoké učení technické v Brně
Povolánívýzkumník AI
ZaměstnavateléMeta Platforms (od 2014)
Google
OceněníCena Neuron za významný vědecký objev (2018)
Stříbrná medaile předsedy Senátu (2024)
Logo Wikimedia Commons multimediální obsah na Commons
Některá data mohou pocházet z datové položky.

Tomáš Mikolov (* 8. října 1982 Šumperk) je český vědec v oboru umělé inteligence. Objevil, jak z dat naučit rekurentní neuronovou síť vytvořit si krátkodobou paměť[1]. Roku 2018 obdržel Cenu Neuron za excelenci ve vědě.[2] Jedním z jeho úspěšných programů je Word2Vec[3], který přepočítává slova do číselných vektorů. Později ve společnosti Google spolupracoval na významném zlepšení překladače Google Translate a strojových překladačů obecně pomocí neuronových jazykových modelů[4]. Na jeho algoritmech je založen ChatGPT.[5]

Život

Tomáš Mikolov se od osmi let zabýval programováním a v deseti letech se zúčastnil matematické olympiády s vlastním počítačovým programem. Vystudoval Fakultu informačních technologií Vysokého učení technického v Brně. Jako diplomovou práci obhájil jazykové modelování pomocí neuronových sítí v řečové skupině na VUT. Nalezl novou metodu překladu jazyka převedením slov do číselných vektorů. Do strojových překladačů prosadil neuronové jazykové modely, a tím se podařilo zvýšit výkonnost překladačů až desetitisíckrát.

Roku 2010 absolvoval stáž na Johns Hopkins University u Freddy Jelinka, který v 70. a 80. letech pracoval pro IBM a je považován za průkopníka statistických modelů pro rozpoznávání řeči. Mikolov jako první dokázal úspěšně využít rekurentní neuronové sítě, které dokážou lépe pracovat s reprezentací slov. Svou práci prezentoval na konferencích a na pětiměsíční stáži v Montréalu u Yoshuy Bengia, známého počítačového vědce a odborníka na umělou inteligenci a hloubkové učení. Jako hostující vědec dostal nabídku na stáž z týmu Microsoft Research[6] a odtud byl přijat do skupiny Google Brain, kde pomocí neuronových jazykových modelů pomohl významně zlepšit a zrychlit práci překladače Google Translate[7].

Podařilo se mu přesvědčit vedoucího týmu Google Brain Jeffa Deana, aby Google tento program vydal jako svůj první open source machine learning program.[8][9] Publikace Tomáše Mikolova z roku 2013 patří k nejcitovanějším v oboru (Distributed Representations of Words and Phrases and their Compositionality, 18 571 citací, Efficient estimation of word representations in vector space, 14 573 citací).[10]

Od roku 2014 pracuje v týmu Facebook AI Research (FAIR) v Silicon Valley a v New Yorku[10] a zabývá se využitím umělé inteligence. Úkolem FAIR týmu je přinést přelomový objev v rámci AI, ale pracuje i na vylepšení produktů Facebooku, jako je filtrování spamu nebo označování nevhodných zpráv na základě obsahu. Tomáš Mikolov rozšířením svého Word2Vec vytvořil obecný toolkit fastText, který se stal jedním z nejúspěšnějších open source projektů Facebooku.

Od roku 2020 budoval vlastní výzkumný tým na Českém institutu informatiky, robotiky a kybernetiky (CIIRC) ČVUT v Praze. Roku 2019 získali jeho spolupracovníci Hugo Cisneros a Josef Šivic za příspěvek Evolving Structures in Complex Systems cenu Best Student Paper na Symposiu IEEE Artificial Life v Xiamen.[11]

V roce 2025 se mu nepodařilo získat další finance na výzkum AI na ČVUT a rozhodl se odejít. Nadále se bude věnovat startupové společnosti BottleCap AI, jejímž cílem je až stonásobně zvýšit efektivitu umělé inteligence.[12] Při rozhovoru pro DVTV sdělil, že část českých vědeckých grantů přiřazují amatéři bez patřičného vzdělání. Mikolov poznamenal, že mu byl jeden český grantový projekt zamítnut, protože nedostatečně gestikuloval rukama při komunikaci o své práci v médiích. V listopadu 2024 získal singapurský vědecký grant těsně před odchodem z ČVUT, po opuštení školy se ho rozhodl nepřijmout.[13]

Ocenění

Dílo

Publikace (výběr)

  • T. Mikolov. Language Modeling for Speech Recognition in Czech, Masters thesis, Brno University of Technology, 2007
  • T. Mikolov, J. Kopecky, L. Burget, O. Glembek, J. Černocký. Neural network based language models for higly inflective languages, In: Proc. ICASSP 2009
  • T. Mikolov, M. Karafiat, L. Burget, J. Černocký, S. Khudanpur. Recurrent neural network based language model, In: Proceedings of Interspeech, 2010
  • T. Mikolov, S. Kombrink, L. Burget, J. Černocký, S. Khudanpur. Extensions of recurrent neural network language model, In: Proceedings of ICASSP 2011
  • T. Mikolov, A. Deoras, S. Kombrink, L. Burget, J. Černocký. Empirical Evaluation and Combination of Advanced Language Modeling Techniques, In: Proceedings of Interspeech, 2011.
  • T. Mikolov, A. Deoras, D. Povey, L. Burget, J. Černocký. Strategies for Training Large Scale Neural Network Language Models, In: Proc. Automatic Speech Recognition and Understanding, 2011.
  • T. Mikolov. Statistical Language Models based on Neural Networks. PhD thesis, Brno University of Technology, 2012
  • T. Mikolov, W.T. Yih, G. Zweig. Linguistic Regularities in Continuous Space Word Representations. NAACL HLT 2013
  • T. Mikolov, I. Sutskever, K. Chen, G. Corrado, and J. Dean. Distributed Representations of Words and Phrases and their Compositionality. Neural information processing systems 2013
  • Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean, Efficient Estimation of Word Representations in Vector Space, 2013, arXiv:1301.3781
  • T Mikolov, I Sutskever, K Chen, GS Corrado, J Dean - Advances in neural information processing systems, 2013
  • Q Le, T Mikolov, Distributed representations of sentences and documents, International conference on machine learning, 2014, pp. 1188-1196
  • T Mikolov, A Joulin, S Chopra, M Mathieu, MA Ranzato, Learning longer memory in recurrent neural networks, arXiv 2014, preprint arXiv:1412.7753
  • A Joulin, T Mikolov, Inferring algorithmic patterns with stack-augmented recurrent nets, Advances in neural information processing systems, 2015, pp. 190-198
  • Jason Weston, Antoine Bordes, Sumit Chopra, Alexander M. Rush, Bart van Merriënboer, Armand Joulin, Tomas Mikolov, Towards AI-Complete Question Answering: A Set of Prerequisite Toy Tasks, arXiv 2015
  • A Joulin, E Grave, P Bojanowski, T Mikolov, Bag of tricks for efficient text classification, arXiv 2016, preprint arXiv:1607.01759
  • T Mikolov, A Joulin, M Baroni, A roadmap towards machine intelligence, International Conference on Intelligent Text Processing and Computational …, 2016
  • W Zaremba, T Mikolov, A Joulin, R Fergus, Learning simple algorithms from examples, International Conference on Machine Learning, 2016, pp. 421-429
  • P Bojanowski, E Grave, A Joulin, T Mikolov, Enriching word vectors with subword information, Transactions of the Association for Computational Linguistics 5, 2017, pp. 135-146
  • T Mikolov, E Grave, P Bojanowski, C Puhrsch, A Joulin, Advances in pre-training distributed word representations, arXiv 2017 preprint arXiv:1712.09405
  • E Grave, P Bojanowski, P Gupta, A Joulin, T Mikolov, Learning word vectors for 157 languages, arXiv 2018, preprint arXiv:1802.06893
  • A Joulin, P Bojanowski, T Mikolov, H Jégou, E Grave, Loss in translation: Learning bilingual word mapping with a retrieval criterion, arXiv 2018, preprint arXiv:1804.07745
  • Hugo Cisneros, Josef Sivic, Tomas Mikolov, Evolving Structures in Complex Systems, Proceedings of the 2019 IEEE Symposium Series on Computational Intelligence

Reference

  1. ↑ [1]
  2. ↑ Miloš Čermák: Tomáš Mikolov, Hospodářské noviny, 30.11.2018
  3. ↑ A Beginner's Guide to Word2Vec and Neural Word Embeddings, Pathmind
  4. ↑ [2]
  5. ↑ Michaela Ryšavá, Emoce kolem Tomáše Mikolova. V grantech neuspěl, teď chystá „svou“ OpenAI a vymýšlí levnější a ekologičtější umělou inteligenci, Hospodářské noviny 12.6.2025
  6. ↑ Microsoft GitHub: Tomas Mikolov speedup & bugfix in word2phrase
  7. ↑ Google Scholar: Tomas Mikolov, Senior Researcher, CIIRC CTU
  8. ↑ Google code archive: word2vec
  9. ↑ A.I.Wiki: A Beginner's Guide to Word2Vec and Neural Word Embeddings
  10. ↑ a b Tomas Mikolov, Research scientist, Facebook
  11. ↑ Cenu na konferenci IEEE Alife 2019 získali Hugo Cisneros, Josef Šivic a Tomáš Mikolov z CIIRC ČVUT, 16.12.2019
  12. ↑ „Něco je prostě hodně, hodně špatně.“ Uznávaný odborník na AI Mikolov odchází z ČVUT, nesehnal peníze na výzkum, ČTK, 2025
  13. ↑ Mikolov: Miliardy rozdělují lidé, kteří o tom neví absolutně nic. Byl jsem z toho znechucený. [s.l.]: DVTV Dostupné online. 
  14. ↑ Ing. Tomáš Mikolov, Ph.D., Laureát Ceny Neuron za významný vědecký objev (Computer science) 2018
  15. ↑ Senát Parlamentu České republiky. www.senat.cz [online]. Kancelář Senátu Parlamentu České, 2012-01-01 [cit. 2024-09-29]. Dostupné online. 

Externí odkazy

This article is issued from Wikipedie. The text is available under Creative Commons Attribution-Share Alike 4.0 unless otherwise noted. Additional terms may apply for the media files.