Tổng kết

Lập trình song song với Dask trong Python

James Fulton

Climate Informatics Researcher

Ôn tập - chương 1

• Đồ thị tác vụ
• Đánh giá lười
• Luồng vs. tiến trình
• dask.delayed()

Ôn tập - chương 2

• Phân tích dữ liệu lớn có cấu trúc
• Mảng Dask
• DataFrame Dask
• Định dạng nâng cao: h5py, zarr, parquet
• pandas & numpy -> dask

Ôn tập - chương 3

• Bag Dask cho dữ liệu lớn phi cấu trúc và bán cấu trúc
• ví dụ: JSON, văn bản, âm thanh

Ôn tập - chương 4

• Dùng LocalCluster và các cụm khác
• Dask-ML
• Huấn luyện ML trên dữ liệu lớn
• Tiền xử lý dữ liệu lớn theo cách lười

Bước tiếp theo

• Nhiều hàm hơn cho
  • Mảng Dask
  • DataFrame Dask
  • Bag Dask
• Tài liệu tại
  • https://docs.dask.org

Chúc mừng!

Lập trình song song với Dask trong Python