Ringkasan

Pemrograman Paralel dengan Dask di Python

James Fulton

Climate Informatics Researcher

Ulangan - bab 1

• Graf tugas
• Evaluasi malas
• Thread vs. proses
• dask.delayed()

Ulangan - bab 2

• Menganalisis data terstruktur besar
• Dask array
• Dask DataFrame
• Format data lanjutan: h5py, zarr, parquet
• pandas & numpy -> dask

Ulangan - bab 3

• Dask bag untuk data besar tak terstruktur dan semi-terstruktur
• mis.: JSON, teks, dan audio

Ulangan - bab 4

• Menggunakan LocalCluster dan kluster lain
• Dask-ML
• Melatih ML pada data besar
• Pra-pemrosesan data besar secara malas

Langkah berikutnya

• Lebih banyak fungsi untuk
  • Dask array
  • Dask DataFrame
  • Dask bag
• Dokumentasi di
  • https://docs.dask.org

Selamat!

Pemrograman Paralel dengan Dask di Python