Calcul parallèle

Comprendre l'ingénierie des données

Hadrien Lacroix

Content Developer at DataCamp

Calcul parallèle

  • Base des outils modernes de traitement des données
  • Nécessaire :
    • Surtout pour la mémoire
    • Aussi pour la puissance de calcul
  • Fonctionnement :
    • Diviser les tâches en sous-tâches plus petites
    • Répartir ces sous-tâches sur plusieurs ordinateurs
Comprendre l'ingénierie des données

1 000 t-shirts

Comprendre l'ingénierie des données

commis principal aux ventes

Comprendre l'ingénierie des données

commis junior aux ventes

1 Émojis : Mohamed Hassan
Comprendre l'ingénierie des données

un commis à la fois

Comprendre l'ingénierie des données

regrouper les t-shirts par lots

Comprendre l'ingénierie des données

les commis juniors finissent en une heure quinze

Comprendre l'ingénierie des données

les commis principaux finissent en deux heures treize

Comprendre l'ingénierie des données

Avantages et risques du calcul parallèle

  • Employés = unités de traitement
  • Avantages
    • Puissance de calcul accrue
    • Empreinte mémoire réduite
  • Inconvénients
    • Déplacer les données a un coût
    • Temps de communication
Comprendre l'ingénierie des données

comparaison du rendement des commis juniors et principaux

Comprendre l'ingénierie des données

il faut dix minutes pour distribuer les mille t-shirts aux quatre commis juniors

Comprendre l'ingénierie des données

il faut cinq minutes pour rassembler les t-shirts des quatre commis juniors en une pile

Comprendre l'ingénierie des données

pipeline de données

Comprendre l'ingénierie des données

pipeline de données

Comprendre l'ingénierie des données

Résumé

  • Avantages et risques
  • Mise en œuvre chez Spotflix
Comprendre l'ingénierie des données

Passons à la pratique !

Comprendre l'ingénierie des données

Preparing Video For Download...