En résumé

Programmation parallèle avec Dask en Python

James Fulton

Climate Informatics Researcher

Récapitulatif — chapitre 1

• Graphes de tâches
• Évaluation paresseuse
• Fils d'exécution vs processus
• dask.delayed()

Récapitulatif — chapitre 2

• Analyse de grandes données structurées
• Tableaux Dask
• DataFrames Dask
• Formats avancés : h5py, zarr, parquet
• pandas et numpy -> dask

Récapitulatif — chapitre 3

• Dask bags pour de grandes données non structurées ou semi-structurées
• p. ex., JSON, texte et audio

Récapitulatif — chapitre 4

• Utiliser LocalCluster et d'autres grappes
• Dask-ML
• Entraîner du ML sur de grandes données
• Prétraiter de grandes données de façon paresseuse

Prochaines étapes

• Une plus large gamme de fonctions pour
  • Tableaux Dask
  • DataFrames Dask
  • Dask bags
• Documentation :
  • https://docs.dask.org

Félicitations !

Programmation parallèle avec Dask en Python