Sammanfattning

Parallellprogrammering med Dask i Python

James Fulton

Climate Informatics Researcher

Återblick – kapitel 1

• Uppgiftsgrafer
• Lat evaluering
• Trådar vs. processer
• dask.delayed()

Återblick – kapitel 2

• Analys av stora strukturerade data
• Dask-arrayer
• Dask DataFrames
• Avancerade dataformat: h5py, zarr, parquet
• pandas & numpy -> dask

Återblick – kapitel 3

• Dask bags för stora ostrukturerade och semistrukturerade data
• t.ex. JSON, text och ljud

Återblick – kapitel 4

• Använda LocalCluster och andra kluster
• Dask-ML
• Träna ML-modeller på stora datamängder
• Lat förbehandling av stora data

Nästa steg

• Fler funktioner för
  • Dask-arrayer
  • Dask DataFrames
  • Dask bags
• Dokumentation på
  • https://docs.dask.org

Grattis!

Parallellprogrammering med Dask i Python