Conclusion

Programmation parallèle avec Dask en Python

James Fulton

Climate Informatics Researcher

Récapitulatif - chapitre 1

  • Graphes de tâches
  • Évaluation paresseuse
  • Threads vs. processus
  • dask.delayed()

Un graphe de tâches avec un produit intermédiaire partagé.

Programmation parallèle avec Dask en Python

Récapitulatif - chapitre 2

  • Analyse de grandes données structurées
  • Dask arrays
  • Dask DataFrames
  • Formats avancés : h5py, zarr, parquet
  • De pandas & numpy -> dask

Montre un tableau découpé en plusieurs blocs

Programmation parallèle avec Dask en Python

Récapitulatif - chapitre 3

  • Dask bags pour données massives non structurées et semi-structurées
  • p. ex. JSON, texte et audio

Schéma d'un jeu de données incluant vidéo et son.

Programmation parallèle avec Dask en Python

Récapitulatif - chapitre 4

  • Utiliser LocalCluster et d'autres clusters
  • Dask-ML
  • Entraîner du ML sur de grands volumes
  • Prétraiter de gros jeux de données de façon paresseuse
Programmation parallèle avec Dask en Python

Prochaines étapes

  • Un plus large éventail de fonctions pour
    • Dask arrays
    • Dask DataFrames
    • Dask bags
  • Documentation sur
Programmation parallèle avec Dask en Python

Félicitations !

Programmation parallèle avec Dask en Python

Preparing Video For Download...