Podsumowanie

Programowanie równoległe z Dask w Pythonie

James Fulton

Climate Informatics Researcher

Powtórzenie – rozdział 1

• Grafy zadań
• Leniwa ewaluacja
• Wątki a procesy
• dask.delayed()

Powtórzenie – rozdział 2

• Analiza dużych danych strukturalnych
• Tablice Dask
• DataFrames Dask
• Zaawansowane formaty danych: h5py, zarr, parquet
• pandas i numpy -> dask

Powtórzenie – rozdział 3

• Worki Dask dla dużych danych nieustrukturyzowanych i częściowo ustrukturyzowanych
• np. JSON, tekst i audio

Powtórzenie – rozdział 4

• Używanie LocalCluster i innych klastrów
• Dask-ML
• Trenowanie ML na dużych danych
• Leniwe przetwarzanie wstępne dużych danych

Kolejne kroki

• Szerszy zakres funkcji dla
  • tablic Dask
  • DataFrames Dask
  • worków Dask
• Dokumentacja:
  • https://docs.dask.org

Gratulacje!

Programowanie równoległe z Dask w Pythonie