Calculs parallèles

Présentation de l’ingénierie des données

Hadrien Lacroix

Content Developer at DataCamp

Base des outils modernes de traitement des données
Nécessaire :
- Principalement pour la mémoire
- Également pour la puissance de traitement
Fonctionnement :
- Diviser les tâches en plusieurs sous-tâches plus petites
- Répartir ces sous-tâches sur plusieurs ordinateurs

1 000 t-shirts

vendeur senior

vendeur junior

¹ Emojis par Mohamed Hassan

un vendeur à la fois

traitement en lots des t-shirts

les vendeurs juniors terminent en une heure et quinze minutes

les vendeurs seniors terminent en deux heures et treize minutes

Avantages et risques du parallélisme

Employés = unités de traitement
Avantages
- Puissance de traitement supplémentaire
- Réduction de l'empreinte mémoire
Inconvénients
- Le déplacement des données a un coût
- Temps de communication

comparer les performances des vendeurs juniors et seniors

il faut dix minutes pour distribuer les mille t-shirts aux quatre vendeurs juniors

il faut cinq minutes pour rassembler les t-shirts des quatre vendeurs juniors en une seule pile

pipeline de données

Présentation de l’ingénierie des données