Qu'est-ce que le calcul parallèle

Introduction à l'ingénierie des données

Vincent Vankrunkelsven

Data Engineer @ DataCamp

L'idée derrière le calcul parallèle

Base des outils modernes de traitement des données

  • Mémoire
  • Puissance de calcul

Idée

  • Diviser la tâche en sous-tâches
  • Répartir les sous-tâches sur plusieurs ordinateurs
  • Collaborer pour terminer la tâche

Schéma d'une tâche divisée en sous-tâches

Introduction à l'ingénierie des données

L'atelier de tailleur

Schéma représentant l'atelier de tailleur

Exploiter un atelier de tailleur

But : 100 chemises

  • Meilleur tailleur : 1 chemise / 20 min
  • Autres tailleurs : 1 chemise / 1 h

 

Plusieurs tailleurs ensemble > meilleur tailleur seul

Introduction à l'ingénierie des données

Avantages du calcul parallèle

  • Puissance de calcul
  • Mémoire : partitionner l'ensemble de données

 

Puce de mémoire vive (RAM) : Image d'une puce de mémoire RAM

Introduction à l'ingénierie des données

Risques du calcul parallèle

Surcharge due aux communications

 

  • Tâche de grande taille requise
  • Besoin de plusieurs unités de calcul

 

Ralentissement en parallèle : Graphique montrant le ralentissement parallèle

Introduction à l'ingénierie des données

Un exemple

 

Schéma illustrant l'exemple des épreuves olympiques

Introduction à l'ingénierie des données

multiprocessing.Pool

from multiprocessing import Pool


def take_mean_age(year_and_group):
    year, group = year_and_group
    return pd.DataFrame({"Age": group["Age"].mean()}, index=[year])



with Pool(4) as p:
    results = p.map(take_mean_age, athlete_events.groupby("Year"))



result_df = pd.concat(results)
Introduction à l'ingénierie des données

dask

 

import dask.dataframe as dd


# Partitionner le dataframe en 4
athlete_events_dask = dd.from_pandas(athlete_events, npartitions = 4)


# Exécuter des calculs en parallèle sur chaque partition
result_df = athlete_events_dask.groupby('Year').Age.mean().compute()
Introduction à l'ingénierie des données

Passons à la pratique !

Introduction à l'ingénierie des données

Preparing Video For Download...