สรุปทั้งหมด

Parallel Programming with Dask in Python

James Fulton

Climate Informatics Researcher

ทบทวน - บทที่ 1

• Task graphs
• Lazy evaluation
• Threads vs. processes
• dask.delayed()

ทบทวน - บทที่ 2

• วิเคราะห์ข้อมูลโครงสร้างขนาดใหญ่
• Dask arrays
• Dask DataFrames
• รูปแบบข้อมูลขั้นสูง: h5py, zarr, parquet
• pandas & numpy -> dask

ทบทวน - บทที่ 3

• Dask bags สำหรับข้อมูลไม่มีโครงสร้างและกึ่งมีโครงสร้างขนาดใหญ่
• เช่น JSON, ข้อความ และเสียง

ทบทวน - บทที่ 4

• ใช้งาน LocalCluster และ cluster อื่น ๆ
• Dask-ML
• ฝึก ML บนข้อมูลขนาดใหญ่
• การ preprocess ข้อมูลขนาดใหญ่แบบ lazy

ขั้นตอนถัดไป

• ฟังก์ชันเพิ่มเติมสำหรับ
  • Dask arrays
  • Dask DataFrames
  • Dask bags
• เอกสารอ้างอิงที่
  • https://docs.dask.org

ยินดีด้วย!

Parallel Programming with Dask in Python