Parallel computing

Inzicht in data engineering

Hadrien Lacroix

Content Developer at DataCamp

Parallel computing

  • Basis van moderne dataverwerkingstools
  • Nodig:
    • Vooral vanwege geheugen
    • Ook voor rekenkracht
  • Werkwijze:
    • Splits taken op in kleinere subtaken
    • Verdeel deze subtaken over meerdere computers
Inzicht in data engineering

1000 T-shirts

Inzicht in data engineering

senior verkoopassistent

Inzicht in data engineering

junior verkoopassistent

1 Emojis door Mohamed Hassan
Inzicht in data engineering

één verkoopassistent tegelijk

Inzicht in data engineering

T-shirts in batches

Inzicht in data engineering

junior verkoopassistenten klaar in een uur en vijftien minuten

Inzicht in data engineering

senior verkoopassistenten klaar in twee uur en dertien minuten

Inzicht in data engineering

Voordelen en risico's van parallel computing

  • Medewerkers = verwerkings­eenheden
  • Voordelen
    • Extra rekenkracht
    • Minder geheugengebruik
  • Nadelen
    • Data verplaatsen kost tijd/bron­nen
    • Communicatietijd
Inzicht in data engineering

prestaties van junior en senior verkoopassistenten vergeleken

Inzicht in data engineering

het kost tien minuten om de duizend T-shirts te verdelen over de vier junior assistenten

Inzicht in data engineering

het kost vijf minuten om de T-shirts van de vier junior assistenten te verzamelen tot één stapel

Inzicht in data engineering

datapijplijn

Inzicht in data engineering

datapijplijn

Inzicht in data engineering

Samenvatting

  • Voordelen en risico's
  • Hoe Spotflix dit toepast
Inzicht in data engineering

Laten we oefenen!

Inzicht in data engineering

Preparing Video For Download...