Подведение итогов

Параллельное программирование с Dask на Python

James Fulton

Climate Informatics Researcher

Повторение — глава 1

• Графы задач
• Ленивые вычисления
• Потоки и процессы
• dask.delayed()

Повторение — глава 2

• Анализ больших структурированных данных
• Массивы Dask
• DataFrames Dask
• Продвинутые форматы данных: h5py, zarr, parquet
• pandas & numpy -> dask

Повторение — глава 3

• Dask bags для больших неструктурированных и полуструктурированных данных
• Например: JSON, текст и аудио

Повторение — глава 4

• Использование LocalCluster и других кластеров
• Dask-ML
• Обучение моделей МО на больших данных
• Ленивая предобработка больших данных

Дальнейшие шаги

• Расширенный набор функций для:
  • массивов Dask
  • DataFrames Dask
  • Dask bags
• Документация:
  • https://docs.dask.org

Поздравляем!

Параллельное программирование с Dask на Python