Závěr

Parallel Programming with Dask in Python

James Fulton

Climate Informatics Researcher

Rekapitulace – kapitola 1

• Grafy úloh
• Líné vyhodnocování
• Vlákna vs. procesy
• dask.delayed()

Rekapitulace – kapitola 2

• Analýza velkých strukturovaných dat
• Dask arrays
• Dask DataFrames
• Pokročilé datové formáty: h5py, zarr, parquet
• pandas & numpy -> dask

Rekapitulace – kapitola 3

• Dask bags pro velká nestrukturovaná a polostrukturovaná data
• např. JSON, text a audio

Rekapitulace – kapitola 4

• Použití LocalCluster a dalších clusterů
• Dask-ML
• Trénování ML na velkých datech
• Líné předzpracování velkých dat

Další kroky

• Širší nabídka funkcí pro
  • Dask arrays
  • Dask DataFrames
  • Dask bags
• Dokumentace na
  • https://docs.dask.org

Gratulujeme!

Parallel Programming with Dask in Python