Riepilogo

Programmazione parallela con Dask in Python

James Fulton

Climate Informatics Researcher

Riepilogo - capitolo 1

• Grafi di task
• Valutazione lazy
• Thread vs processi
• dask.delayed()

Riepilogo - capitolo 2

• Analisi di grandi dati strutturati
• Dask array
• Dask DataFrame
• Formati avanzati: h5py, zarr, parquet
• Da pandas & numpy a dask

Riepilogo - capitolo 3

• Dask bag per dati grandi non strutturati e semi-strutturati
• es. JSON, testo, audio

Riepilogo - capitolo 4

• Uso di LocalCluster e altri cluster
• Dask-ML
• Addestrare ML su big data
• Preprocessing lazy di big data

Prossimi passi

• Più funzioni per
  • Dask array
  • Dask DataFrame
  • Dask bag
• Documentazione su
  • https://docs.dask.org

Congratulazioni!

Programmazione parallela con Dask in Python