Calcolo parallelo

Capire il Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

Calcolo parallelo

• Base degli strumenti moderni di data processing
• Necessario:
  • Soprattutto per la memoria
  • Anche per la potenza di calcolo
• Come funziona:
  • Dividi i task in sottotask più piccoli
  • Distribuisci i sottotask su più computer

¹ Emoji di Mohamed Hassan

Vantaggi e rischi del calcolo parallelo

• Dipendenti = unità di elaborazione
• Vantaggi
  • Più potenza di calcolo
  • Minore uso di memoria
• Svantaggi
  • Spostare dati ha un costo
  • Tempo di comunicazione

Riepilogo

• Vantaggi e rischi
• Come è implementato in Spotflix

Ayo berlatih!

Capire il Data Engineering