Upozornění pro čtenáře a uživatele této knihy

Všechna práva vyhrazena. Žádná část této tištěné či elektronické knihy nesmí být reprodukována ani šířena v papírové, elektronické či jiné podobě bez předchozího písemného souhlasu nakladatele. Neoprávněné užití této knihy bude trestně stíháno.

Jan Hendl

Big data

Věda o datech – základy a aplikace

Vydala Grada Publishing, a.s.

U Průhonu 22, Praha 7

obchod@grada.cz, www.grada.cz

tel.: +420 234 264 401

jako svou 8251. publikaci

Recenzenti:

Prof. Ing. Petr Berka, CSc.

Doc. MUDr. Pavel Kasal, CSc.

Odpovědná redaktorka Věra Slavíková

Sazba Jan Šístek

Počet stran 224

První vydání, Praha 2021

Vytiskla TISKÁRNA V RÁJI, s.r.o., Pardubice

Vydání odborné knihy schválila Vědecká redakce nakladatelství Grada Publishing, a.s.

© Grada Publishing, a.s., 2021

Cover Design © Grada Publishing, a. s., 2021

Cover Photo © Depositphotos/klss777

Názvy produktů, firem apod. použité v knize mohou být ochrannými známkami nebo registrovanými ochrannými známkami příslušných vlastníků.

Věnuji památce prof. PhDr. Jana Průchy, DrSc., dr. h. c., zakladateli moderní české pedagogiky.

ISBN 978-80-271-4479-2 (ePub)

ISBN 978-80-271-4478-5 (pdf)

ISBN 978-80-271-3031-3 (print)

Slovo úvodem

Otevíráte knihu významného českého statistika orientovaného především na biomedicínu prof. RNDr. Jana Hendla. Kniha je zaměřena na problematiku označovanou obvykle ve světě anglickým termínem „Big data“. Analýza velkých skupin dat není v informatice a statistice tématem novým. Je to však obor, který se stále dynamicky rozvíjí a publikace vyžadují aktualizaci zejména ve specializovaných oblastech, které se dotýkají jednotlivých částí informatiky a dalších vědních oborů. Právě této specializované problematice se podstatná část knihy věnuje.

Kniha prof. Hendla je z tohoto hlediska velmi aktuální. Příklady jsou s ohledem na zaměření autora v poslední době převážně z medicíny. Příklady k tématu pandemie COVID 19 jsou tím nejaktuálnějším, co si lze dnes představit. Právě v té době se ukázalo, jak významná je analýza dat pro predikci vývoje pandemie i sledování adekvátnosti přijatých opatření.

V mnoha kapitolách druhé části knihy se prof. Hendl věnuje interdisciplinárním tématům např. strojovému učení, podpoře rozhodování, umělé inteligenci, analýze textů a sociálním sítím. Především to jsou oblasti, kde Big data mají velké uplatnění.

Celková koncepce knihy je tedy multidisciplinární a velká data představují jen sjednocující prvek a kapitoly se dotýkají téměř všech oblasti biomedicínské informatiky a mnoha oblastí jiných oborů. To je dáno autorovou pracovní zkušeností statistika v mnoha oborech – v Institutu pro doškolování lékařů a farmaceutů, na Fakultě tělesné výchovy UK, Fakultě sociálních věd UK a na lékařských fakultách UK. Kniha tedy není rozhodně určena jen statistikům a informatikům, ale i lékařům, pracovníkům v humanitních oborech, přírodních vědách, tělovýchově a v nelékařských zdravotnických oborech. Nejvíce budou z knihy profitovat studenti doktorských studijních oborů všech uvedených fakult a dále jistě i studenti informatiky, technických, ekonomických a matematických oborů.

Kniha má logickou strukturu a zdaleka nemusí být čtena jako učebnice od začátku do konce. Lze využít i rejstřík a obsah nebo prostudovat jen úvodní dvě kapitoly a pak číst jen skupiny kapitol podle oboru zájmu.

prof. MUDr. Štěpán Svačina, DrSc., MBA

předseda České lékařské společnosti Jana Evangelisty Purkyně

Předmluva

Sherlock Holmes řekl „Velká chyba spočívá v tom, že teoretizujeme bez dat“. Sherlock Holmes by jistě rád žil v 21. století, protože svět je dnes přímo zaplaven velkými objemy dat. Nová věda, věda o datech (data science), která se jimi zabývá, revolucionalizovala obchod, celou vědu a ovlivnila společnost. Věda o datech bere ohled na škálu technologických vymožeností, jako jsou smartphony, digitální propojení pomocí radiových vln, sociální sítě a nové počítačové vybavení.

V každém okamžiku a na mnoha místech se generuje velké množství elektronických stop a dat. Přístup k „Big datům“ vytvořil příležitost využívat počítačové a statistické přístupy k proměně hrubých dat do aktivních znalostí, které mohou podporovat řešení různých aplikačních úloh. To je zvláště pravda při optimalizaci provádění rozhodnutí v oblastech, jako je medicína, bezpečnost, výuka, věda a obchod. Stejně jako mikroskop umožňuje vidět věci v „mikrosvětě“ a obří dalekohledy v dalekém vesmíru, různé prostředky analýzy „Big dat“ nám mohou rozšířit schopnost zachytit užitečnou, ale mnohdy skrytou informaci schovanou v datech.

Věda o datech je typicky zaměřena na analýzu komplexních a velkých objemů dat. Tento obor zahrnuje také aplikaci principů sběru dat, jejich uchování a organizace, integrace, komunikace, statistiku a etiku. Lze předpokládat, že všichni studenti a akademici budou v budoucnu znalosti této vědy využívat. Pracovníci s těmito znalostmi a dovednostmi budou činní vlastně v každé oblasti, přičemž budou mít na starosti operační systémy, přípravu dat k analýze, koordinaci analýzy dat, vizualizaci informací a podporu rozhodování pomocí dat v tom, že objeví v datech vztahy a konfigurace. Dovednosti v práci s daty využijí manažéři, úředníci, novináři, umělci, právníci, učitelé, sociologové a ostatní pracovníci, kteří potřebují schopnost porozumět datům a používat je.

V knize se popisují nejdůležitější procedury pro analyzování velkých množství dat s cílem získat poznatky, které pomáhají uživatelům provádět rozhodnutí v mnoha oblastech lidské činnosti. Také se věnuje prostor výkladu analýzy textů, určitým aspektům analýzy sociálních sítí a organizace dat. V textu se objevují často slova „stroj“, „strojní“ nebo „inženýrství“. Čtenář s humanitním nebo společenskovědním zaměřením by měl uznat oprávněnost jejich použití a potlačit svoji případnou iritaci a jistou nedůvěru k tomu, co tato slova signalizují. V USA a v dalších zemích si lidé příslušných oborů váží a uznávají jejich rozhodující přínos k národnímu bohatství i jejich široké uplatnění (i mimo techniku a obchod).

Zaměřuji se na popis vědy o datech jako samostatné disciplíny a zdůrazňuji její význam. Jiný pohled považuje vědu o datech za část umělé inteligence. Text obsahuje v přehledu popisy strategií, postupů a schémat algoritmů. Uvádím několik příkladů aplikace vědy o datech při hledání řešení problémů spojených s pandemií COVID-19.

Při zpracování látky jsem se opíral především o knihu P. Berky (Berka 2003) a práce J. Maříka a jeho spolupracovníků (Mařík 1–6). Také jsem využil texty českých autorů J. Antocha (1988), J. Klaschky a E. Kotrče (2004), J. Tučkové (2009) a J. Raucha (2013). Znamenitá je slovenská knížka M. Tereka, A. Horníkové a V. Labudové (2010). O hlubokém učení a programování v jazyku Python podrobně pojednává v českém překladu F. Chollet (2019). Filosofické pozadí Big dat rozebírá Kitchin (2014). Základy informatiky česky hezky vysvětluje Kernighan (2019). Můj přístup k látce byl ovlivněn pročítáním internetových stránek skupiny nadšených autorů a autorek kolem KDnuggets.

Závěrem bych rád poděkoval oběma recenzentům prof. Ing. Petru Berkovi, CSc. a doc. MUDr. Pavlu Kasalovi CSc. za přečtení textu a hojné připomínky.

Jan Hendl

Omlouvám se za případné chyby a opomenutí v textu a uvítám návrhy čtenářů na jeho vylepšení.

Jan.Hendl@ruk.cuni.cz

1Základy

Nejdříve probereme obsah pojmu Big data. Dále uvedeme přehled jednotlivých částí vědy odatech (data science). Vědu odatech považujeme za významnou, atak aktuální, že si zaslouží pozornost všech zájemců oinformatiku astatistickou analýzu dat. Do vědy odatech zahrnujeme oblasti, se kterými se dnes běžně setkáváme, jestliže uvažujeme rozmanité aplikace analýzy velkých množin dat, umělé inteligence, strojového učení, Business Intelligence aData Engineering. Metody umělé inteligence mají zvláštní postavení vsouvislosti svědou odatech, někdy se dokonce probírají zcela odděleně. Strojové učení však propojuje umělou inteligenci sanalýzou dat, protože strojové učení vychází zdat.

1.1Big data

Současný svět se rychle mění aje prosycen daty (Press 2014, McKinsey 2018). Dříve změny nebyly tak rychlé. Pokud se například definoval způsob uložení dat, pak se používal mnoho let. Kzpracování aorganizování dat se používaly výhradně relační databáze spropracovanou strukturou. Nyní se nová data nedrží zavedených struktur. Data přicházejí vmnoha rozdílných formátech. Změna těchto formátů do jednotného formátu není přitom zcela žádoucí, což je způsobeno rozdílnostmi aktuálních předmětných aplikací.

Svět je prostoupen mnoha typy možností získání dat, které sahají od sensorů až po mobilní telefony, do databází se dostávají informace odopravě, pohybu lidí apodmínkách vjiných částech města. Tyto informace mohou být ve vizuální, zvukové nebo textové podobě. Internet věcí (IoT, Internet of things) je také datově bohatá novinka. Chytrá domácnost je místo, kde si různé domácí spotřebiče vyměňují informace. Takové aplikace vyžadují zpracování velkých objemů dat okamžitě vreálném čase.

Provedení obchodní transakce potřebuje software pro inteligentní rozhodování. Obchodní scénáře se mění velmi rychle vlivem elektronického přenosu dat. Jedna událost ve světě obchodu může generovat celou kaskádu událostí vjiných oblastech obchodu. Takové situace vyžadují rychlý sběr dat ajejich zpracování.

Propojení internetem vede kvirtuální společnosti, vkteré jedinec na druhém konci světa má vlastně stejný profil jako kolega ve vedlejší kanceláři. Sociální média jako Twitter, Facebook, Instagram adalší platformy poskytují každému jejich členu spojení nutné kvýměně informací ainterakci. Lidé spolu mohou na dálku mluvit opočasí, politice, výzkumu, rodině atd. Tyto média jsou naneštěstí používány ipro nekalé aktivity. Každý okamžik si miliony lidí vyměňují ohromné množství informací.

Pokroky vmedicíně vedou ktomu, že se uplatňuje personalizovaná medicína, upravená terapie pro daného jedince. To vyžaduje monitorování medicínských proměnných, jejichž hodnoty ovlivňují další průběh terapie. Taková data mají podobu rentgenových snímků, průběhu srdeční činnosti nebo teploty. Tato data se mohou dále využít na populační úrovni, vepidemiologii, ve výzkumu.

Výzkum vbiologických vědách, epidemiologii av dalších oblastech využívají data vdaném okamžiku nebo shromážděná za delší dobu. Zpracování dat onovém viru ajeho šíření vyžaduje rychlou reakci. Data jsou vrůzných formátech. Vizualizace tvaru proteinů je důležitá pro biology, aby pochopili jejich vztah kživotu.

Klasifikaci Big dat můžeme provést podle mnoha dimenzí. Klasifikace různých perspektiv pohledu na Big data bere vúvahu zdroje dat, formáty obsahu, uložení dat, předzpracování dat azpůsob zpracování. Schéma možných perspektiv ukazuje následující seznam:

■Zdroje dat (internet, stroje, sensory, transakce, IoT).

■Formát (data strukturovaná, semistrukturovaná, nestrukturovaná).

■Uložení aorganizování (orientace na dokumenty, orientace na sloupce, grafově založené, podle klíče).

■Předzpracování (čištění, normalizace, transformace).

■Zpracování (dávkové, vreálném čase).

Základní definiční charakteristiky Big dat jsou jejich velikost, formáty azměna.

Big data aplikace se týkají především zvládání velkých objemů dat, ale také mixu různých typů dat (různorodost dat) atoho, jakou roli při jejich vzniku hraje čas (rychlost změny). Tyto charakteristiky Big dat se obvykle vanglické literatuře nazývají 3V (Volume, Variety, Velocity). Vtabulce 1.1 uvádíme jejich vymezení. Někdy se ještě přidávají další vlastnosti „V“ jako hodnověrnost (Veracity) ahodnota (Value).

Tabulka 1.1: Základní vlastnosti 3V Big dat: objem, různorodost, rychlost

Aspekt

Charakteristika

Objem

(Volume)

Hlavní aspekt, vposledních letech se nesmírně zvětšilo množství generovaných dat. Nepředstavuje však hlavní obtíže.

Různorodost

(Variety)

Mnoho rozličných formátů dat, od strukturovaných dat po nestrukturovaná data.

Rychlost

(Velocity)

Rychlost změny dat. Zvyšuje se množství dat, které se musí rychle uložit ahned zpracovat.

Objevují se různé definice pojmu Big data. Opírají se obvykle ouvedené tři vlastnosti. Jedna zpřijímaných definic říká, že Big data jsou data srůznorodým formátem, ovelkém objemu arychle se měnící, což vsouhrnu způsobuje, že je nelze spravovat pomocí konvenčních databázových prostředků. Vazbu mezi vlastnostmi Big dat atechnologickými změnami ukazuje tabulka 1.2.

Tabulka 1.2: Technologie aBig data

Aspekt

Možnosti atechnologie

Objem

Virtualizace ukládání do cloudů vdatových centrech, množství prvků připojených kinternetu.

Různorodost

Existuje potřeba analyzovat inestrukturovaná dat. Uplatnění databází NoSQL.

Rychlost

Miliony připojených chytrých telefonů asenzorů zvyšují objem irychlost změn.

Obrázek 1.1 názorně přibližuje definici pojmu Big data.

Obrázek 1.1: Vymezení pojmu Big data

Jednotky pro vyjádření objemů informací jsou vtabulce 1.3, přičemž oBig datech mluvíme od velikostí mnoha gigabytů.

Tabulka 1.3: Přehled násobných jednotek paměti (vnové úpravě)

Jednotka

Značka

B

kB

KiB

MB

MiB

GB

GiB

TB

TiB

Kilobajt

kB

1000

1

~0,9766

Kibibajt

KiB

1021

1,024

1

Megabajt

MB

1 000 000

1000

~976,6

1

~0,9537

Mebibajt

MiB

1 048 576

~1048,6

1024

1,049

1

Gigabajt

GB

10 9

1 000 000

976 562,5

1000

953,7

1

~0,9313

Gibibajt

GiB

~1,074×10 9

~1 073 742

1 048 576

~1073,7

1024

1,074

1

Terabajt

TB

10 12

10 9

~0,9766×10 9

1 000 000

~953 574,3

1000

931,3

1

~0,9095

Tebibajt

TiB

~1,1×10 12

~1,1×10 9

~1,074×10 9

~1 099 512

1 048 576

~1099,5

1024

~1,1

1

Vprosinci 1998 IEC (úřad pro normy Evropské unie voblasti elektrotechniky) vytvořil dodatek knormě IEC 60027-2, ve kterém zavedl pro počítačové jednotky nový systém označování násobků. Vtomto systému bylo pro původní „velké kilo“ = 1024 B navrženo označení kibibajt aznačka KiB, zatímco jednotka kilobajt (se značkou kB) označuje 1000 B, tak, jak je obvyklé vsoustavě SI. Nové binární předpony (kibi-, mebi-, gibi-, …) jsou definované také vnormě ISO/IEC 80000.

Vpřehledu ještě uvádíme jednotky objemu informací, které se používají voblasti Big data:

Kilo- znamená 1,000 bytů; kilobyte je tisíc bytů.

Mega- znamená 1,000,000 bytů; megabyte je milion bytů.

Giga- znamená 1,000,000,000 bytů; gigabyte je miliarda bytů.

Tera- znamená 1,000,000,000,000 bytů; terabyte je trilion bytů.

Peta- znamená 1,000,000,000,000,000 bytů; petabyte je 1,000 terabytů.

Exa- znamená 1,000,000,000,000,000,000 bytů; exabyte je 1,000 petabytů.

Zetta- znamená 1,000,000,000,000,000,000,000 bytů; zettabyte je 1,000 exabytů.

Yotta- znamená 1,000,000,000,000,000,000,000,000 bytů; yottabyte je 1,000 zettabytů.

Objem vsoučasnosti vznikajících dat je ilustrován tvrzením, že mezi vznikem civilizace arokem 2003 bylo vytvořeno 5 exabytů informací, nyní tolik vytvoříme každé dva dny (Kitchin 2014).

Základní schéma procesu zpracování Big dat obsahuje několik kroků: získání/hledání dat, předzpracování dat, analýza dat azpracování dat, aplikace, vizualizace dat. Obrázek 1.2 srámcem zpracování Big dat zjednodušeně ukazuje fungování celého systému.

Obrázek 1.2: Zpracování Big dat

Zdroje Big dat jsme zmínili, předzpracování zahrnuje odstranění nepožadovaných nebo duplicitních dat, vprocesu předzpracování je vrelačních databázích důležitá normalizace kzabránění redundance dále jde očištění apředběžnou úpravu dat. Uživatelé zrůzných oblastí se snaží tato data využít pomocí různých druhů analytik. Analytické techniky zahrnují strojové učení, data mining, statistické metody využití paralelních algoritmů pro rychlé zpracování auplatnění modelu při optimalizaci rozhodování. Vizualizace představuje důležitý krok, protože výsledky předchozího zpracování je často výhodné zprostředkovat ve vhodné obrazové podobě.

Uvedeme nyní jeden klasický příklad. Na možnosti uplatnění analýzy Big dat upozornil zdravotnickou veřejnost azástupce politického života projekt internetové společnosti Google vsouvislosti smožnostmi monitorování výskytu chřipkového onemocnění. Epidemie sezonní chřipky jsou velkým problémem systému veřejného zdravotnictví. Včasná detekce aktivity onemocnění vede krychlejší reakci úřadů amůže redukovat dopad jak sezónní, tak pandemické chřipky. Jeden ze způsobů včasné detekce představuje monitorování chování uživatelů při vyhledávání informací na internetu. Google společnost navrhla metodu analýzy velkého počtu Google dotazů scílem monitorovat nemoci podobné chřipce. Některé dotazy jsou silně korelované spravděpodobností návštěvy lékaře, při kterých pacient prezentuje symptomy chřipky. To umožnilo navrhnout algoritmus pro odhad šíření chřipky vjednotlivých oblastech USA.

Příslušná služba se označuje zkratkou GFT (Google Flu Trends). GFT porovnává své predikce shistorickou základní úrovní chřipkové aktivity pro danou oblast apak rozhoduje, zda se jedná uaktuální aktivity ominimální, nízkou, střední, vysokou nebo intenzivní aktivitu. Získané odhady podle firmy Google velmi dobře korelují skonvenčními epidemiologickými daty (CDC, Centers for Disease Control and Prevention), jak na národní, tak na oblastní úrovni.

Obrázek 1.3: GFT modelová data aCDC data ochřipkové aktivitě

Obrázek 1.3 ukazuje GFT data voblasti (Středoantlantská oblast vUSA) aCDC data sdosaženou korelací 0,96. Také je uveden 95% pás predikce (přerušované křivky).

Obrázek 1.4: Podrobné srovnání predikcí chřipkové aktivity vletech 2007–2008

Obrázek 1.4 ukazuje podrobné srovnání predikcí chřipkové aktivity vletech 2007–2008. V5. týdnu byl detekován strmý nárůst signálu, který byl později potvrzen daty zCDC institutu.

Prvotní motivace pro GFT spočívala vúsilí ovčasnou identifikaci aktivity nemoci arychlou reakci. Vjedné zprávě se dokazovalo, že GFT signál detekoval zvýšený výskyt chřipky až o10 dní dříve než tuto skutečnost ohlásila služba CDC.

Google signál GFT byl podle společnosti Google příkladem „kolektivní inteligence“, které je možné využít kidentifikaci trendů ak výpočtu predikcí. Chování lidí na internetu ukazuje jejich vůli apotřeby bez omezení.

Poznamenejme, že později po podrobném přezkoumání jinými vědci byly optimistické názory společnosti Google na užitečnost signalizace epidemie zvolenou metodou značně korigovány (viz např. Google Flu 2013).

Dále seznámíme čtenáře se dvěma odlišnými příklady využití Big dat. První příklad má vztah ke světu sportu, druhý se týká výzkumu kultury.

Vroce 2011 získal prestižní cenu film Moneyball sBradem Pittem vhlavní roli. Film byl natočen podle románové předlohy Michaela Lewise zroku 2003. Román ifilm jsou historií hlavního manažéra baseballového týmu Oakland Athletics (Kalifornie) Billyho Beanea (B. B.), který využil statistickou analýzu dat ktomu, aby zjistil, které dovednosti hráče přispívají významně kvýhře vzápasu. Jeho přístup revolucionalizoval způsob, jak jsou hodnoceni hráči. Vsoutěžích baseballu jde totiž ovelké peníze. Nový manažér (B. B.) měl tým vytáhnout zbídy, protože prohrával jedno utkání za utkáním. Uplatněním metod data science získal tipy na nové (nedoceněné) hráče as poměrně malým rozpočtem (40 milionů dolarů) sestavil tým, který běžně vyhrával stýmy smnohem větším rozpočtem (100+ milionů dolarů). Beane analyzoval záznamy ostovkách hráčů aidentifikoval statistiky, které byly vysoce prediktivní pro úspěch hráče ve hře. Tyto statistiky se lišily od čísel, které využívali tradičně scouti vté době. Věřil své teorii anápadům ipřes nesouhlasný postoj zaměstnavatele. Jeho metody se rychle rozšířily vekonomice aobchodu. Úspěch B. B. rezonuje udatových výzkumníků. Vypráví ovýhodách přístupu, jestliže data science se stane částí „DNA“ organizace. Osvětluje, jak velké myšlenky zBig dat se mohou promítnout do obchodního zisku.

Baseball byl vždy také hrou čísel astatistiky. Díky explozi dat vsoučasné době aexistenci softwaru apočítačů bylo možné využít obecné myšlenky regresní analýzy adatové analytiky. Význam Moneyballu spočíval ve faktu, že poprvé informoval veřejnost, jak je možné využít Big data ve sportu. Platí to jistě pro americké sporty jako košíková, kopaná, kriket ahokej. Vsoučasné době má většina sportovních jednot vUSA sekci datových výzkumníků. Získané modely pomáhají manažérům přesněji evaluovat hodnotu hráče aminimalizovat riziko, které vzniká rozhodováním pomocí intuice. Sportovní analytika má budoucnost astále hledá nové cesty (B. J. Alamar: Sports analytics 2013).

Příklad analýzy velkých souborů dat vrámci historického výzkumu je popsán na Wikipedii. Týká se dokumentů shromážděných vrámci projektu Seshat: History Databank nekomerční organizací Evolution Institute. Vdatabázi jsou data (miliony starobylých textů), které pomáhají testovat různé historické hypotézy. Vtomto případě šlo otéze německo-švýcarského filosofa K. Jasperse týkající se Axiální doby (800–1000 let před Kristem). Ty předpokládají, že vAxiální (Osové) době došlo ve velkých kulturách Číny, Řecka, Indie, Iránu aIzraele kvývoji, který položil základy modernity. Teze tvrdí, že velké civilizace přijaly vté době morální universalismus aobjevily transcendenci. Lidé vnich začali jinak přemýšlet osvětě: ne že funguje, ale proč funguje. Vzniklo myšlení druhého řádu otom, jak lidé uvažují ouniversu aosudu člověka. Dokonce se spekuluje otom, zda se dnes nenalézáme vnové Axiální době.

Koncept Axiální doby je známý avlivný, existují však pochybnosti, protože schází historická asociologická přesvědčivá evidence. Koncept je stále kontroverzní. Seshat umožnil zkoumat toto téma. Výsledky analýzy Big dat podkopaly tezi oAxiální době jako celkem jasně časově ageograficky lokalizovaném procesu. Autoři (Mullins, Hoyer et al 2018) prokazují, že podobný kulturní pohyb se odehrával na různých místech stovky itisíce let předtím. Tito autoři ukazují cestu, jak lze postupovat při historicko-sociologickém výzkumu ideologických ainstitucionálních základů společností. Výsledky studie popsali vknize o500 stránkách snázvem Seshat History of the Axial Age. Kniha se zaměřuje na historický výzkum pomocí Big dat, jeho výsledky apoužitou metodologii. Data umožnily porovnání vývoje společností vzdálených od sebe včase iprostoru analytickými metodami určenými pro Big data. Široce diskutované výsledky studie znamenají významný doplněk izolovaného historického výzkumu.

1.2 Věda odatech

Vroce 1962 John Tukey (Brillinger 2002) popsal oblast, kterou nazval „analýza dat“. Jeho popis se podobal moderní vědě odatech. Vroce 1985 použil C. F. Jeff Wu spojení „Data Science“ jako alternativní název pro statistiku (Press 2013). Vroce 1996 se stala International Federation of Classification Societies první konferencí, která tematizovala úlohy vědy odatech. Definice se však teprve tvořila. Vroce 1997 opět C. F. Jeff Wu navrhl, že věda odatech přispěje kopravě nepřesného stereotypu, který ztotožňuje statistiku sevidováním apouhým popisem dat. Vroce 1998 Chikio Hayashi doporučil vědu odatech jako nový interdisciplinární koncept se třemi aspekty: způsob návrhu, získání aanalýzy dat. V90. letech se věda odatech začala spojovat shledáním zajímavých konfigurací vdatech, což zahrnovalo „data mining“ a„objevování znalostí“ (knowledge discovery). Vymezení moderní koncepce vědy odatech jako nové disciplíny se připisuje W. S. Clevelandovi. Vroce 2001 doporučil, že aplikovanou statistiku je nutné propojit stechnologickou oblastí (IT). Vroce 2003 byl založen The Journal of Data Science.

Vědu odatech (data science) pojímáme jako interdisciplinární oblast, která využívá vědecké metody, procesy aalgoritmy kextrahování znalostí azískání vhledu do daného problému pomocí mnoha strukturovaných anestrukturovaných dat. Věda odatech je vúzkém vztahu kdolování dat (data mining), kstrojovému učení (ML, Machine Learning) ak velkým objemům dat (Big data). Pracuje se však také s„malými daty“, tedy daty, které pocházejí ze standardních šetření aexperimentů (tab. 1.4).

Věda odatech vpraktických aplikacích znamená systematický astrategický přístup kvyužití dat pro řešení určitých problémů. Problém, který se řeší, je praktického charakteru. Nejde tedy oryze akademické řešení. Datový vědec vinstituci se tolik nezajímá ozobecňující řešení problému, spíše usiluje ozlepšení toho, jak instituce dosahuje svých cílů.

Tabulka 1.4: Rozdíly mezi „malými“ daty aBig daty

Vlastnost

Malá data

Big data

Cíle

Zodpovězení specifické otázky

Cíle aotázky se pružně mění

Umístění

Vjedné instituci, obyčejně na jednom počítači

Velektronickém prostoru, na mnoha počítačích

Struktura, obsah

Strukturovaná data, tabulka, zjedné oblasti

Strukturovaná inestrukturovaná data (dokumenty, obrázky, nahrávky, čísla), mnoho disciplín

Příprava

Uživatel připraví data pro vlastní jedno použití

Různé zdroje, odlišné skupiny lidí data získávají, připravují aanalyzují

Trvání

Skoncem projektu data po krátké době mizí

Data přetrvávají dlouhou dobu, přemísťují se na jiná místa

Opakovatelnost

Projekty jsou reprodukovatelné, pracuje se snovými daty

Není obvykle možné zopakovat sběr dat, doufáme, že data jsou vpořádku

Analýza

Všechna data se podrobí analýze, obvykle pouze jednou

Nevíme, která data využijeme, data se extrahují, normalizují, transformují, vizualizují, interpretují aznovu analyzují

Věda odatech znamená prolnutí navzájem se doplňujících disciplín, lidé orientovaní vtéto oblasti jsou datoví výzkumníci, „data scientists“. Takto označení odborníci by měli zvládnout široké pole znalostí, které jsou vystaveny dynamickým změnám, protože svět kolem „data science“ se rychle mění. Daný problém zoblasti data science se obvykle zpracovává vtýmu, pro jedince je totiž obtížné spojit všechny dovednostní požadavky na dostatečné úrovni. Tým se vyznačuje různorodostí akademického původu svých členů. Skládá se zmatematiků, fyziků apřírodovědců, doktorů, inženýrů ainformatiků. Vzávislosti na charakteru úlohy vněm také nalézají uplatnění ekonomové, sociologové, psychologové azástupci humanitních oborů. Předpokládá se však, že každý má základní znalosti metodiky analýzy úlohy amatematiky.

Věda odatech se realizuje vpraxi lidmi, kteří se zajímají ootázky jiných profesí ao jiné oblasti znalostí. Mezi tyto oblasti patří informatika, statistické metody ametody analýzy dat, obeznámenost saplikační oblastí:

Informatika: Základ informatiky zahrnuje umění získávat aorganizovat data zrůzných zdrojů (např. internet, lékařské přístroje). Jestliže chceme analyzovat data, měli bychom znát techniky ukládání dat azpůsoby manipulace snimi. Strukturovaná data jsou obvykle uložena vrelačních databázích. Proto je nutná znalost SQL jazyka. Jiná data mají nestrukturovanou podobu, příkladem jsou textové dokumenty nebo produkty zobrazovací techniky. Taková data jsou uložena ve speciálních databázích sjinou logikou.

Data musíme zdatabází nějakým způsobem získat, takže potřebujeme ovládat rozhraní pro ovládání takových databází, kde hrají velkou roli například práva kpřístupu, síťové protokoly aproblémy kódování. Zinformatiky jsou vhodné základní znalosti algoritmizace pomocí programovacích jazyků (Java, Python, R, Julia adalší). Platí, že programovací jazyk musí být vhodný pro danou úlohu. Vyžaduje obvykle aplikaci knihoven podprogramů adalších užitečných programovacích prostředků.

Statistické metody ametody analýzy dat: Analýza dat využívá matematické astatistické dovednosti ke konverzi dat do návodů kjednání. Děje se tak pomocí matematických modelů. Matematika se skládá zteoretické matematiky aaplikované matematiky, která nám pomáhá řešit nějaký reálný problém. Rozsah aplikované matematiky je široký avěda odatech se vyznačuje oportunismem při volbě přístupů. Mnoho příslušných prostředků aprogramových knihoven je volně dostupných na internetu. Kdo však chce provést regresní analýzu nebo řešit nějaký klasifikační problém pomocí neuronových sítí, shlukovacích metod nebo jiné techniky, měl by znát základy matematiky (maticového počtu, pravděpodobnosti akonečné matematiky), metod statistiky astrojového učení (což zahrnuje ihluboké učení), aby se předešlo jejich špatnému použití. Metody statistiky se vtéto oblasti opírají omnohorozměrné přístupy, které využívají data omnoha proměnných. Sobecně platnými základními koncepty statistiky se již střetáme vjednorozměrné advourozměrné statistice. Kpodstatným odchylkám vmnohorozměrné statistice nedochází. Přibývají však nové koncepty svázané specificky svědou odatech. Kreativní aplikace komplexní matematiky je základní vlastností vědy odatech.

Znalosti zoblasti aplikace: Expertní znalosti neboli doménové znalosti jsou podstatnou částí aplikované vědy odatech. Aby členové týmu reagovali adekvátně na požadavky praxe, musí být obeznámeni sjejími základy apříslušnými odbornými termíny, což zaručuje schopnost dorozumění. Každý, kdo analyzuje problém, musí znát kontext problému amožné požadavky na řešení. Uvažují se oblasti aplikací, které jsou vtomto smyslu dosti odlišné. Například obchod se liší od medicínského prostředí, dopravy nebo sportu. Datový výzkumník se musí připravit na to, že bude řešit problémy vnejrůznějších oblastech. Manažeři vtěchto oblastech se rozhodují vprostředí, které se mění avyznačuje se velkou nejistotou. Zkušenosti aintuice vrozhodování hrají důležitou roli, ale mozková kapacita lidí je omezená. Rozhodování může být ovlivněno mnoha faktory, které nemáme pod kontrolou. Vtakových okamžicích jsou důležitá dostupná data apočítač. Teoretické znalosti aplikované matematiky (třeba strojového učení) ainformatiky mohou být značné, ale bez znalosti reality mohou vyvinutá řešení způsobit více škody než užitku. Věda odatech je ověcech alidech vreálném světě, ne očíslech aalgoritmech.

Oblast data science znázorňuje schematicky známý Vennův graf teoretika Drew Conwaye (obr. 1.5, 2010). Tento jednoduchý graf pomáhá pochopit podstatu arozsah znalostí vědy odatech.

Obrázek 1.5: Vennův graf disciplín vědy odatech (data science)

Conway (http://drewconway.com/) definuje tři kompetence, které by měl datový výzkumník nebo tým orientovaný na vědu odatech zvládnout. Graf na obrázku 1.5 pojímá vědu odatech jako interdisciplinární aktivitu, která má tři dimenze: znalost oblasti aplikace, matematiku astatistiku, informatiku. Datový výzkumník je někdo, kdo rozumí problémům aplikační oblasti, přičemž se snaží využívat matematické astatistické prostředky. Také rozumí informatice asvé představy ořešení problému dokáže vyjádřit počítačovým kódem.

Obrázek 1.6: Vennův graf dovedností pro vědu odatech

Může se namítnout, že graf na obrázku 1.5 neobsahuje měkké dovednosti (umění komunikace, týmová spolupráce atd.). Tyto dovednosti se předpokládají automaticky jako všude jinde upracovníků vtýmu.

Také je nutné poznamenat, že jedinci zvládající všechny zmíněné kompetence do hloubky jsou mýtickými postavami, které neexistují ve skutečném světě. Většina datových vědců začíná skvalifikací matematika nebo informatika apostupně se dovzdělává. Voblasti data science pracuje mnoho jedinců, kteří mají společenskovědní nebo humanitní vzdělání. Pro pracovníky voblasti sociálních věd vytvořil obdobné schéma zkušeností aznalostí Ulrich Matter (obr. 1.6, podle KDnuggets-David Taylor).

Tabulka 1.5: Příklady úloh aodpovídající základní zkušenost

Úloha

Primární zkušenosti

Příprava serveru pro uložení velkých dat asběr vreálném času az mnoha různých míst

INFORMATIKA

Vysvětlení přítomnosti vychýlených hodnot

ORIENTOVANOST

Vysvětlení, do jaké míry lze závěry zanalýzy zobecnit

STATISTIKA

Rozhodnutí, jaká je vhodná vizualizace pro laiky

STATISTIKA

Rozhodnutí, jaká data se mají propojit

ORIENTOVANOST

Automatizace spojování dat

INFORMATIKA

Detekce signálu vdatech

STATISTIKA

Redukce počtu proměnných

STATISTIKA

Příprava dlouhodobého ukládání dat (organizace verzí dat)

INFORMATIKA

Tabulka 1.5 obsahuje některé úlohy pro datového výzkumníka apředpokládané dovednosti zoblastí INFORMATIKA, STATISTIKA aORIENTOVANOST.

Postup datového výzkumníka

Věda odatech je disciplína studia dat aalgoritmů scílem extrahovat znalosti azískat vhled do problematiky ze strukturovaných anestrukturovaných dat. Práce datového výzkumníka nespočívá pouze ve studiu dat, ale zahrnuje ijiné procesy:

Krok 1: Jaký je problém? Je nutné od zadavatele iz literatury získat podrobný pohled na problém avšechny jeho aspekty.

■Co oproblému víme?

■Jak je problém dosud řešen?

■Jaké máme zatím informace?

Ktomu jsou potřeba „měkké“ dovednosti, týmová spolupráce aurčitá znalost oblasti aplikace.

Krok 2: Získání relevantních dat.

■Jaká data potřebujeme kvyřešení problému?

■Která data jsou již kdispozici?

■Kde data získat?

Ktomu je potřeba znalost SQL aNoSQL databází (viz dále).

Krok 3: Explorace a„čištění“ dat.

■Hrubá data je nutné připravit pro další zpracování.

■Volba proměnných.

■Data obsahují nevalidní hodnoty, chybějící hodnoty, je nutné je transformovat, odstranit opakující se záznamy.

■Je nutné spojit různé databáze.

Ktomu musíme znát programovací jazyky jako Python, R aSQL (viz dále).

Krok 4: Využít potenciál vdatech. Aplikace různých algoritmů.

■Vytvoření modelu dat scílem zodpovědět otázky.

■Odhalení skrytých vlastností dat atrendů, nové hypotézy.

■Validace modelu daty.

■Využití různých vizualizačních technik kprezentování dat.

■Porovnání různých druhů výsledků.

■Interpretace.

Potřebujeme přitom znát principy vytváření modelu ametody strojového učení.

Krok 5: Komunikace výsledků analýzy.

■Grafické zprostředkování výsledků.

■Příprava „vyprávění“ odatech ařešení.

■Zodpovězení otázek anávrh dalších otázek.

Ktomu jsou zapotřebí ovládat „měkké“ akomunikační dovednosti atýmová spolupráce. Další podrobnosti obsahují doporučení obsažené vmetodologii CRISP DM (viz dále).

Datoví výzkumníci nemají pouze zvládnout techniky vědy odatech adosáhnout vysokých platů, mají řešit problémy aklást si otázky spojené ze zodpovědností asnahou zlepšit svět. Řídí se pravidly:

■Nejsem to já, co vytvořil svět, svět se neřídí mými rovnicemi.

■Moje rovnice provádějí určité predikce, ale nepřeceňuji jejich matematiku.

■Elegance vyjádření nemá přednost před realitou, vysvětluji uživatelům předpoklady aslabiny modelu.

■Moje modely mohou mít velké efekty na společnost aekonomiku, mnohé ztěchto efektů mohou ležet mimo mé představy.

Tým se skládá zlidí, kteří zvládnou ve spolupráci programování, datové inženýrství, statistiku, matematiku, strojové učení, komunikaci, smysl pro data, vizualizaci aorientaci vsociálních sítích asociálním prostoru. Žádný jedinec nemůže vynikat ve všech těchto oblastech. Má však uznat jejich hodnotu aspolupracovat sostatními.

1.3 Umělá inteligence

Umělá inteligence (UI, AI, Artificial Intelligence) je termín, který znamená užití počítačů kmodelování inteligentního chování sminimální intervencí člověka. Obecně se přijímá, že UI začala saplikováním robotů. Samotný termín „robot“ byl zaveden Karlem Čapkem vroce 1921 vjeho hře R.U.R. (Rozumní Univerzální Roboti). Vpolovině 20. století Isaac Asimov zvěčnil tento název ve sbírce krátkých vědecko-fantastických povídek. Humanoidní automat byl však zmíněn dávno třeba vČíně, kde Yan Shi (1023–957 před Kristem) ukázal králi Mu zdynastie Zhou mechanickou figurínu velikosti člověka potaženou kůží, vlnou as umělými orgány. Ve 12. století ve zlatém věku muslimů polyhistor Al-Jazari vytvořil humanoidního robota, který dovedl hrát na činely. Vrenesanci to byl Leonardo da Vinci, který vytvořil vroce 1495 podrobnou studii lidské anatomie. Důsledkem bylo, že navrhl humanoidního robota – rytíře, který zvládal určité typické pohyby. Da Vinciho nákresy byly inspirací pro generace výzkumníků vrobotice, někteří znich pracovali vNASA (Hendl 2019).

Vroce 1948 se stal William Gray Water slavným, když vyvinul autonomního robota, kterého nazval Machina Speculatrix. Jeho cílem bylo demonstrovat, jak funguje mozek. Pomocí spojení mezi relativně malým počtem „mozkových buněk“ prokázal, že lze realizovat dosti složité chování. John McCarthy použil vroce 1955 jako první označení umělá inteligence (zdroj Wikipedia). Unás se věnoval umělé inteligenci kromě jiných také bratr Václava Havla, Ivan.

Dnes je UI považována za inženýrský obor, který implementuje nové koncepty ařešení, jež jsou schopny zvládat složité úkoly. Tím, jak postupuje vývoj vrychlosti výpočtů, vjejich paměťové kapacitě aprogramování, vsoftwaru, mohou se někdy počítače chovat jako lidé. Na UI má velký vliv kybernetika, jejímž zakladatelem byl Norbert Wiener. Vkybernetice jde otransdisciplinární přístup zacílený na ovládání systémů použitím technologie, která zkoumá regulaci mechanických, fyzikálních, biologických asociálních systémů.

Inteligence je základním kamenem lidské existence. Umožňuje nám porozumět např. větám. Mentální aktivita nás charakterizuje jako lidské bytosti. Na ní se podílí náš mozek ve spolupráci srůznými částmi naší biologické výbavy (např. oči). Legg aHutter (2007) shromáždili 70 definicí „inteligence“, které zdůrazňují různé aspekty. Např. jde oschopnost adaptace nebo ooptimalizační procesy, zdůrazňuje se schopnost dosáhnout určitého cíle, učení apružnosti.

„Inteligence – podle jedné definice – je schopnost aktéra dosáhnout určitého cíle vdaném prostředí.“ Jiná definice zní: „Inteligence je výpočetní část schopnosti dosáhnout cíle ve světě.“ Vtéto definici se odkazuje na interní procesy (výpočty), které slouží kdosažení externích cílů (schopnost dosáhnout cíle) vrámci komplexního adynamicky se měnícího okolí (svět).

Umělá inteligence je vlastně studium výpočetních operací, které umožňují vnímání, uvažování ajednání či automatizaci inteligentního chování. Přitom se studují biologické iumělé systémy. UI je definována také jako nehumánní inteligence měřená schopností replikovat lidské duševní schopnosti jako rozeznávání obrazců, porozumění přirozenému jazyku, adaptivní učení ze zkušenosti auvažování oostatních.

Obrázek 1.7 přibližuje širší pojetí integrace činností voblasti umělé inteligence.

Obrázek 1.7: Obecný pohled na širší pojetí umělé inteligence

1.4 Data mining

Podle české Wikipedie je Data Mining (DM, angl. dolování zdat či vytěžování dat) analytická metodologie získávání netriviálních skrytých apotenciálně užitečných informací zdat.

Některá označení nemusí být zcela správná. „Dolování dat“ by mělo znít spíše jako dobývání znalostí zdat, stejně jako získáváme zlato zpísku nebo znějaké rudy. Krátké označení DM také nereflektuje, že jde nejčastěji ovelká data, Big data. Příslušné postupy se také označují jako extrakce znalostí, analýza konfigurací nebo prosívání dat. Mnoho lidí pojímá dolování dat jako objevování znalostí zdat (KDD, Knowledge Discovery from Data). DM je iterativní proces, který sestává zřady kroků:

1. Čištění dat (odstranění šumu ainkonzistencí).

2. Integrace dat (získání tabulky dat zvíce zdrojů).

3. Výběr dat (ztabulky dat se vybírají relevantní data).

4. Transformace dat (konverze dat do tvaru, který je vhodný pro aplikaci procedur dolování dat).

5. Dolování dat (aplikují se speciální procedury kextrakci konfigurací).

6. Evaluace konfigurací (identifikace užitečných konfigurací odhalených vpředchozím kroku).

7. Prezentace znalostí (vizualizace areprezentace odhalených konfigurací uživateli).

Názorně přiblížíme čtyři procedury dobývání znalostí zdat: klasifikace, hledání asociací akorelací, shlukování aregrese (obr. 1.8).

Obrázek 1.8: Čtyři metody strojového učení

Často se dobývání znalostí zdat, resp. dolování dat, ztotožňuje se strojovým učením, proto je klasifikace metod ve strojovém učení prakticky stejná.

1.5 Strojové učení

Strojové učení („machine learning“, ML) se probírá vakademickém světě již po delší čas. Strojové učení znamená vpraxi programování učení se zdat. Pod tímto názvem si lze představit robota nebo něco podobného, Vpraxi nemusí mít strojové učení spojení sroboty, ale může znamenat mnoho jiných věcí. Uvedeme si například filtry spamů, což je aplikace strojového učení. Data zde znamenají trénovací soubor dat nebo příklady (zde alternativní název pro trénovací data). Ty nám pak pomocí modelu dat umožňují získat schopnost odlišit užitečnou zprávu od spamu.

Bez učení zdat bychom postupovali při návrhu filtru spamů asi takto:

1. Studium problému.

2. Navržení pravidel odborníky.

3. Evaluace.

4. Návrat ke kroku 1 nebo implementace.

Strojové učení (ML) pomocí dat probíhá modifikovaně takto:

1. Studium problému.

2. Trénování algoritmu pomocí dat.

3. Evaluace.

4. Návrat ke kroku 1 nebo implementace.

Oba postupy jsou si podobné stím rozdílem, že ustrojového učení se získání pravidel děje automatizovaně pomocí velké množiny předem klasifikovaných dat (trénovacího souboru dat).

Krok 4 lze aplikovat iběhem nasazení filtru spamů kdalšímu zlepšení jeho činnosti pomocí nových dat.

Uvedený příklad je vzorem pro obecné učení pomocí dat. Učení pomocí dat můžeme využít ipro řešení velmi složitých úloh, například při překládání zjednoho jazyka do druhého jazyka nebo pro klasifikaci snímků nádorů nebo pro přiřazení záběru obličeje jedince kjeho zdroji. Strojové učení nám pomáhá při učení, realizuje se pomocí vhodných dat aalgoritmů.

Vnaší knize rozvedeme výklad metod strojového učení, které se uplatňují voblastech, jež jsme stručně popsali vpředchozích odstavcích. Budeme se také věnovat prostředí, které je vhodné pro dosažení naznačených cílů. Vyložíme principy potřebného softwaru. Vprůběhu našeho výkladu popíšeme podrobněji iněkteré konkrétní aplikace pojednaných technik.

1.6 Business Intelligence

Business Intelligence (BI) je promyšlený přístup kpráci sdaty ve firmě nebo organizaci, který má vliv na správnost strategických rozhodnutí, atím ina úspěchy firmy nebo organizace. Vsoučasném vysoce konkurenčním prostředí představuje dobrá informovanost jednu zhlavních konkurenčních výhod.

Části BI představují oborově zaměřené informační modely, které zachycují objekty aprocesy činnosti vkonkrétní oblasti aposkytují analytické modely pro tvorbu informací.

Důležité úkoly BI jsou:

■Měření výkonu organizace akvantifikace činností.

■Vizualizace dat ajejich organizace vdatových skladech.

1.7 Datové inženýrství

1.8 Průnik disciplín

Věda odatech aBig data

Věda odatech aumělá inteligence

Věda odatech astrojové učení

Věda odatech adata mining

Věda odatech aBusiness Intelligence

Věda odatech adatové inženýrství

1.9 Metodologie CRISP DM

Od problému kpřístupu

Od požadavku ke sběru dat

Od porozumění kpřípravě

Od modelování kevaluaci

Od aplikace zpět kinformaci

1.10 Strategie používání dat

Popisná analytika

Diagnostická analytika

Prediktivní analytika

Preskriptivní analytika

Využití vkombinaci

1.11 Výuka vědy odatech

1.12 Problematika COVID-19

1.13 Souhrn

Table of Contents

Slovo úvodem

Předmluva

1Základy

1.1Big data

1.2 Věda o datech

1.3 Umělá inteligence

1.4 Data mining

1.5 Strojové učení

1.6 Business Intelligence

1.7 Datové inženýrství

1.8 Průnik disciplín

1.9 Metodologie CRISP DM

1.10 Strategie používání dat

1.11 Výuka vědy o datech

1.12 Problematika COVID-19

1.13 Souhrn