Paralelní výpočty

Understanding Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

Paralelní výpočty

  • Základ moderních nástrojů pro zpracování dat
  • Nutnost:
    • Zejména kvůli paměti
    • Také kvůli výpočetnímu výkonu
  • Princip fungování:
    • Rozdělení úlohy na menší dílčí úlohy
    • Distribuce těchto úloh mezi více počítačů
Understanding Data Engineering

1000 triček

Understanding Data Engineering

seniorský prodavač

Understanding Data Engineering

juniorský prodavač

1 Emojis by Mohamed Hassan
Understanding Data Engineering

jeden prodavač v jednu chvíli

Understanding Data Engineering

třídění triček do skupin

Understanding Data Engineering

juniorští prodavači dokončí práci za hodinu a patnáct minut

Understanding Data Engineering

seniorský prodavač dokončí práci za dvě hodiny a třináct minut

Understanding Data Engineering

Výhody a rizika paralelních výpočtů

  • Zaměstnanci = výpočetní jednotky
  • Výhody
    • Vyšší výpočetní výkon
    • Nižší nároky na paměť
  • Nevýhody
    • Přenos dat má svou cenu
    • Čas komunikace
Understanding Data Engineering

srovnání výkonu juniorského a seniorského prodavače

Understanding Data Engineering

rozdělení tisíce triček čtyřem juniorským prodavačům trvá deset minut

Understanding Data Engineering

sesbírání triček od čtyř juniorských prodavačů do jedné hromady trvá pět minut

Understanding Data Engineering

datový pipeline

Understanding Data Engineering

datový pipeline

Understanding Data Engineering

Shrnutí

  • Výhody a rizika
  • Implementace ve Spotflixu
Understanding Data Engineering

Pojďme si procvičit!

Understanding Data Engineering

Preparing Video For Download...