Datové inženýrství a velká data

Understanding Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

O kurzu

• Koncepční kurz
• Bez programování
• Cíle
  • Schopnost komunikovat s datovými inženýry
  • Pevný základ pro další studium

Kapitola 1

Co je datové inženýrství?

1. Datové inženýrství a velká data
2. Datoví inženýři vs. datoví vědci
3. Datové pipeline

Kapitola 2

Jak funguje ukládání dat

1. Strukturovaná vs. nestrukturovaná data
2. SQL
3. Datový sklad a datová jezera

Kapitola 3

Jak přesouvat a zpracovávat data

1. Zpracování dat
2. Plánování dat
3. Paralelní výpočty
4. Cloud computing

$$

$$

$$

Datový tok

Datový tok

Datový tok

Datový tok

Datoví inženýři

Datoví inženýři

Datoví inženýři zajišťují:

• správná data
• ve správné podobě
• správným lidem
• co nejefektivněji

Odpovědnosti datového inženýra

• Zpracování dat z různých zdrojů
• Optimalizace databází pro analýzu
• Odstraňování poškozených dat
• Vývoj, tvorba, testování a správa datových architektur

Datoví inženýři a velká data

• Velká data se stávají normou =>

Datoví inženýři a velká data

• Velká data se stávají normou => poptávka po datových inženýrech roste
• Velká data:
  • Je třeba řešit jejich objem
  • Tradiční metody již nestačí

Růst velkých dat

• Senzory a zařízení
• Sociální sítě
• Podniková data
• VoIP (hlasová komunikace, multimediální relace)

¹ Data Age 2025, Seagate, November 2018

Pět V

• Volume – objem (kolik?)
• Variety – rozmanitost (jaký druh?)
• Velocity – rychlost (jak často?)
• Veracity – věrohodnost (jak přesná?)
• Value – hodnota (jak užitečná?)

Shrnutí

• Co vás čeká
• Jak data proudí organizací
• Kdy datový inženýr zasahuje
• Jaké jsou jeho odpovědnosti
• Vztah datového inženýrství a velkých dat

Pojďme cvičit!

Understanding Data Engineering