Datové pipeline

Understanding Data Science

Sara Billen

Curriculum Manager

$$ Sběr a příjem dat z jednoho zdroje

Understanding Data Science

$$ Sběr a příjem dat ze tří zdrojů

$$

Jak škálovat?

Více datových zdrojů:

  • Veřejné záznamy
  • API
  • Databáze

Různé typy dat:

  • Nestrukturovaná data
  • Tabulková data
  • Streamovaná data v reálném čase např. tweety
Understanding Data Science

Co je datová pipeline?

  • Přesouvá data přes definované fáze
  • Automatizovaný sběr a ukládání
    • Plánovaně: hodinově, denně, týdně atd.
    • Spouštěno událostí
  • Monitorováno s generovanými upozorněními
  • Nezbytné pro projekty s velkými daty
  • Datoví inženýři vytvářejí vlastní řešení
  • Extract Transform Load (ETL)

Datová pipeline

Understanding Data Science

Případová studie: chytrá domácnost

Data Zdroj Frekvence
Počasí API Národní meteorologické služby Každých 30 minut
Tweety ve vaší oblasti Twitter API Stream v reálném čase
Teplota v interiéru Chytrý termostat Každých 5 minut
Stav osvětlení Chytré žárovky Každou minutu
Stav zámků Chytré zámky Každých 15 sekund
Spotřeba energie Chytrý elektroměr Týdně
Understanding Data Science

Extrakce

Fáze extrakce

Zdroj Frekvence
Národní meteorologické API Každých 30 minut
Twitter API Stream v reálném čase
Chytrý termostat Každých 5 minut
Chytré žárovky Každou minutu
Chytré zámky Každých 15 sekund
Chytrý elektroměr Týdně
Understanding Data Science

Transformace

Fáze načtení

Understanding Data Science

Transformace

Jak udržet příchozí data organizovaná a snadno použitelná?

$$ Příklady transformací:

  • Spojení zdrojů do jednoho datového setu
  • Převod datových struktur podle schémat databáze
  • Odstranění irelevantních dat

Příprava a průzkum dat v této fázi neprobíhají

Understanding Data Science

Načtení

Fáze načtení

Understanding Data Science

Automatizace

Automatizace

Understanding Data Science

Pojďme si procvičit!

Understanding Data Science

Preparing Video For Download...