Encerramento

Programação Paralela com Dask em Python

James Fulton

Climate Informatics Researcher

Recapitulando — capítulo 1

• Grafos de tarefas
• Avaliação preguiçosa
• Threads vs. processos
• dask.delayed()

Recapitulando — capítulo 2

• Análise de dados estruturados grandes
• Dask arrays
• Dask DataFrames
• Formatos avançados: h5py, zarr, parquet
• pandas e numpy -> dask

Recapitulando — capítulo 3

• Dask bags para dados grandes não estruturados e semiestruturados
• ex.: JSON, texto e áudio

Recapitulando — capítulo 4

• Uso de LocalCluster e outros clusters
• Dask-ML
• Treino de ML em big data
• Pré-processar big data de forma preguiçosa

Próximos passos

• Uma gama maior de funções para
  • Dask arrays
  • Dask DataFrames
  • Dask bags
• Documentação em
  • https://docs.dask.org

Parabéns!

Programação Paralela com Dask em Python