České společnosti Livesport založené v roce 2006 se podařilo během deseti let vybudovat jednu z největších platforem pro sběr a zobrazování sportovních statistik v reálném čase pod globálním brandem Flashscore. Jakmile je jakékoli sportovní utkání, služba je schopná sbírat všechny možné informace, včetně těch podrobnějších, jako jsou například fauly ve fotbale a podobně.
Petr Burian, šéf vývoje v Livesportu
Cílem Livesportu je předat tyto informace v co nejpohodlnější podobě pro uživatele a sportovní fanoušky, kteří mají navíc k dispozici i přehled kurzů různých sázkových kanceláří. Co ale znamená takovou platformu řídit a co všechno je k tomu potřeba, jsme pro vás zjistili přímo v hlavní centrále společnosti v Praze při rozhovoru s Petrem Burianem.
Základem je kvalitní sběr dat
Hlavní složkou celé platformy jsou data, která je nutné nejdříve efektivně sbírat ze zápasů z celého světa. Během sportovních událostí je vyplňují zaměstnanci a brigádníci oddělené společnosti Sportnet.
Jednotliví lidé pomocí televize a videostreamů sledují dané zápasy živě z celého světa a vše zapisují. Protože dat je kvůli 32 sledovaným sportům opravdu mnoho, je nutné analyzovat i správnost, která může s lidským zápisem kolísat. Systém tak vyhodnocuje jednotlivé pracovníky, kteří vyplňují data a pokud je jejich chybovost vyšší, nedostanou se například k významnějším sportovním událostem. Nástroje na jejich hodnocení se neustále vylepšují.
Ukázka webové verze české Livesport.cz. Podobných webů je po světě více, všechny ale staví na stejných datech. Globálně cílený je web Flashscore.com
„V začátcích jsme samozřejmě takovou lidskou platformu pro zápis neměli a byli jsme nuceni kupovat data od externích dodavatelů. Byl ale obrovský problém s nekvalitou dat.“ popisuje Petr Burian situaci v rámci prvních let Livesportu. Problém je i s omezením v podobě podrobnějších informací a zvyšování standardů. Vlastní platforma je v tomto ohledu mnohem lepší.
Spousty webů i mobilních aplikací
Livesport se snaží zasáhnout celý svět a stále roste. I když je nejsilnější především v Evropě, je populární i v dalších zemích. V rámci některých zemí používá i specializovaný brand (Flashscore je obecný globální, Livesport.cz pro český trh) a na různé varianty a mutace webových stránek dorazí dle aktuálních čísel z ledna v průměru více než 11 milionů uživatelů denně.
„Naše weby navštěvuje přes 11 milionů lidí denně“
Tím to ale nekončí – součástí platformy jsou i mobilní aplikace, kterých je přibližně 40 z důvodů různých variant a mutací pro dané trhy. Tyto aplikace se pyšní více než 14 miliony stažení, přičemž asi 8 milionů uživatelů je používá na denní bázi.
Každý webový projekt má i svou mobilní aplikaci. Dříve je nechávali vyvíjet extertně, nyní už se je vyrábí sami
375 000 dotazů za sekundu
Dodávat tolik dat na tolik trhů v reálném čase je velmi náročné na infrastrukturu. Livesport má aktuálně 300 vlastních serverů značky Dell, přičemž třetina z nich je virtuálních. Neosvědčily se jim CDN (zneplatnění neaktuálních dat v rámci minut je příliš pomalá) a tak drtivou většinu provozu vyřizují přímo z datacentera v Žižkovské věži v Praze v privátním datovém sále.
Livesport má celkem 300 vlastních serverů, třetina z nich je virtuálních
„Problém s dodáním dat například do Brazílie není primárně v odezvě, ale v propustnosti, která u klienta klesne třeba i na 50 kbit/s. To je sice nepoužitelné pro video i webové stránky, ale pro naše malé množství dat v podobě změn je to dostatečné a rychlejší než s využíváním CDN.“ prozradil Petr Burian.
Platformu mají vyzkoušenou a ověřenou na opravdu obrovské zátěže, které vznikají obvykle při významných zápasech jako třeba u finále Ligy mistrů a podobně. Současný rekord ve špičce je 375 000 dotazů za sekundu, přičemž se počítá i s dvojnásobnou zátěží a rozšířením počtu serverů v datacentru v Žižkovské věži.
Detaily statistik, které jsou sledované v reálném čase
Mezi používanými technologiemi je Docker, Varnish (cache i s vlastními modifikacemi, hierarchické proxy cachování) a další, ale vyladění všeho pro tuto platformu trvalo několik let, protože mají přibližně stejný počet dotazů i navazovaných spojení, které jsou řádově náročnější.
Detail nástroje pro release
První vrstva je frontendová cache, druhá vrstva je backendová cache, další jsou aplikační servery (Apache web server, PHP), databáze MySQL i MongoDB. „Každá technologie má své silné a slabší stránky a trvá strašně dlouho, než zjistíte, které to pro vaše řešení jsou. A je potřeba maximálně využít právě silných stránek a ty slabší stránky vykompenzovat.“ popisuje Petr Burian.
Architektura platformy
Livesport hodně experimentuje s novými technologiemi jako je NodeJS a Docker, ale než nasadí nové technologie do produkce, dlouho testují. Pokud jde o release, používají týdenní cyklus, poslední testování probíhá v pondělí a standardní release je v úterý. Podle informací trvá release na celém clusteru s 200 servery do minuty.
Efektivní tým 40 technických lidí
O vývoj a správu platformy Flashscore a navazujících projektů se stará tým čítající zatím kolem 40 technických lidí, kteří jsou rozdělení do několika dílčích specializovaných týmů. Například o nejnižší úroveň v oblasti hardwaru se stará přibližně šest lidí, backendový tým pro sběr dat vyřizuje také asi šest lidí, front-end pro web a mobilní telefony pak další týmy.
Také v kancelářích Livesportu v pražských Nových Butovicích je odpočinková zóna, jak je v moderních IT pracovištích zvykem. Nějaké to skóre zde mohou vývojáři nejen zpracovat, ale také sami vytvořit.
„Snažíme se nabírat postupně a hodně si vybíráme. Zatím dodržujeme rychlost přibližně do deseti nových lidí za rok. Hledáme v lidech hlavně potenciál a že se chtějí posouvat. Základní zaučení sice trvá třeba 14 dní, ale produktivita jako u našich seniorů přichází obvykle až tak po roce.“ upřesnil Petr Burian.
Zajímavostí je, že vývoj mobilních aplikací si Livesport zpočátku outsourcoval, ale dle vyjádření jim tento přístup nefungoval a raději tak přeučili šikovné vývojáře z webů, kteří se naučili vývoj pro iOS a Android, což nějakou dobu trvalo. Pokud jde o zajímavá čísla z mobilních řešení, Livesport přes vlastní platformu umí odeslat až 100 milionů push notifikací denně.
Problémy vznikají hlavně na poslední míli, kterou už Livesport nemá pod kontrolou a Google je v tomto oproti Applu trochu napřed, protože lze dohledat každou notifikaci pro každého uživatele. To pak pomáhá řešit případné problémy. Ty vznikají hlavně třeba u různých nadstaveb operačních systémů u Androidu.
Miliardový obrat za rok 2015
Livesport je jedna z významných českých IT firem s globálním dosahem, o které se ale moc neví, protože na domácím trhu nepůsobí nijak výrazně. Za rok 2015 dosáhla na obrat téměř jedné miliardy korun, ale jedná se o příjem ze všech trhů, na kterých působí. Pokud jde o Českou republiku, ta se dnes podílí na obratu pouhými dvěma až třemi procenty. Největším trhem z pohledu návštěvnosti je Itálie.
Zajímavá čísla a statistiky. Během roku 2015 například Livesport sledoval přes 242 tisíc událostí
Cílem je letos překonat obrat jedné miliardy korun. Peníze přitom plynou především z vlastního reklamního systému. V Livesportu se hodně snaží řadu věcí dělat po svém, protože dle zkušeností z outsourcingu je kvalita nedostatečná a znamená to řadu problémů, které se neefektivně řeší.
Statistiky i pro e-sporty
V rámci statistik už jsou k dispozici i výsledky z populárních soutěží v počítačových hrách, mezi kterými je například League of Legends, DOTA 2, Starcraft 2, Counter-strike a dalších.
Zápasů v počítačových hrách je zatím málo, ale jejich počet roste
E-sporty rostou velmi rychle a jsou oblíbené hlavně u mladší generace. Dnes už se pořádají i velké mezinárodní soutěže, ve kterých se hraje o miliony dolarů, takže lze očekávat další růst v této oblasti.
Hraní Doty nebo CS ve škole? U nás zakázáno, v Norsku regulérní studijní obor
Na webu zdarma, na mobily možná dorazí freemium
Dle vyjádření Petra Buriana je sice stále cílem poskytovat celou platformu zdarma jak na webu, tak i na mobilních zařízeních, ale už poměrně dlouho uvažují i o nějaké možnosti placené verze. Web dle jeho slov bude i do budoucna zdarma, protože tam jsou uživatelé zkrátka zvyklí na obsah zdarma a i s nástroji na placení to není úplně pohodlné.
Na mobilních zařízeních je ale situace jiná – v případě iOS už jsou uživatelé zvyklí si připlácet za doplňkové služby v rámci freemium a placení je jednoduché a rychlé díky integraci s účtem uživatele. Na Androidu je situace s placením o něco horší. S přechodem na placenou verzi ale přichází i nutnost lepší podpory zákazníků, která není tolik potřeba u produktu zdarma.
