Przetwarzanie równoległe

Wprowadzenie do inżynierii danych

Hadrien Lacroix

Content Developer at DataCamp

Przetwarzanie równoległe

  • Podstawa nowoczesnych narzędzi przetwarzania danych
  • Konieczność:
    • Głównie ze względu na pamięć
    • Również dla mocy obliczeniowej
  • Jak działa:
    • Zadania są dzielone na mniejsze podzadania
    • Podzadania są rozdzielane na wiele komputerów
Wprowadzenie do inżynierii danych

1000 koszulek

Wprowadzenie do inżynierii danych

starszy sprzedawca

Wprowadzenie do inżynierii danych

młodszy sprzedawca

1 Emojis by Mohamed Hassan
Wprowadzenie do inżynierii danych

jeden sprzedawca na raz

Wprowadzenie do inżynierii danych

grupowanie koszulek

Wprowadzenie do inżynierii danych

młodsi sprzedawcy kończą w godzinę i piętnaście minut

Wprowadzenie do inżynierii danych

starszy sprzedawca kończy w dwie godziny i trzynaście minut

Wprowadzenie do inżynierii danych

Zalety i ryzyka przetwarzania równoległego

  • Pracownicy = jednostki przetwarzające
  • Zalety
    • Większa moc obliczeniowa
    • Mniejsze zużycie pamięci
  • Wady
    • Przesyłanie danych ma swój koszt
    • Czas komunikacji
Wprowadzenie do inżynierii danych

porównanie wydajności młodszego i starszego sprzedawcy

Wprowadzenie do inżynierii danych

rozdzielenie tysiąca koszulek do czterech młodszych sprzedawców zajmuje dziesięć minut

Wprowadzenie do inżynierii danych

zebranie koszulek od czterech młodszych sprzedawców w jeden stos zajmuje pięć minut

Wprowadzenie do inżynierii danych

potok danych

Wprowadzenie do inżynierii danych

potok danych

Wprowadzenie do inżynierii danych

Podsumowanie

  • Zalety i ryzyka
  • Implementacja w Spotflix
Wprowadzenie do inżynierii danych

Czas na ćwiczenia!

Wprowadzenie do inżynierii danych

Preparing Video For Download...