Підсумок

Паралельне програмування з Dask у Python

James Fulton

Climate Informatics Researcher

Підсумок — розділ 1

• Графи завдань
• Ліниві обчислення
• Потоки vs процеси
• dask.delayed()

Підсумок — розділ 2

• Аналіз великих структурованих даних
• Масиви Dask
• Датафрейми Dask
• Розширені формати даних: h5py, zarr, parquet
• Від pandas і numpy до dask

Підсумок — розділ 3

• Dask bags для великих неструктурованих і напівструктурованих даних
• напр., JSON, текст і аудіо

Підсумок — розділ 4

• Використання LocalCluster та інших кластерів
• Dask-ML
• Навчання ML на великих даних
• Лінива передобробка великих даних

Подальші кроки

• Більше функцій для
  • Масивів Dask
  • Датафреймів Dask
  • Dask bags
• Документація:
  • https://docs.dask.org

Вітаємо!

Паралельне програмування з Dask у Python