Recapitulare

Programare paralelă cu Dask în Python

James Fulton

Climate Informatics Researcher

Recapitulare - capitolul 1

  • Grafuri de sarcini
  • Evaluare leneșă
  • Fire vs. procese
  • dask.delayed()

Un graf de sarcini cu un produs intermediar partajat.

Programare paralelă cu Dask în Python

Recapitulare - capitolul 2

  • Analiza datelor structurate mari
  • Array-uri Dask
  • DataFrame-uri Dask
  • Formate avansate: h5py, zarr, parquet
  • pandas & numpy -> dask

Ilustrează un array împărțit în mai multe fragmente

Programare paralelă cu Dask în Python

Recapitulare - capitolul 3

  • Saci Dask pentru date nestructurate și semi-structurate
  • ex.: JSON, text și audio

Diagramă cu un set de date ce include video și sunet.

Programare paralelă cu Dask în Python

Recapitulare - capitolul 4

  • Utilizarea LocalCluster și a altor clustere
  • Dask-ML
  • Antrenarea ML pe date mari
  • Preprocesarea leneșă a datelor mari
Programare paralelă cu Dask în Python

Pași următori

  • O gamă mai largă de funcții pentru
    • Array-uri Dask
    • DataFrame-uri Dask
    • Saci Dask
  • Documentație la
Programare paralelă cu Dask în Python

Felicitări!

Programare paralelă cu Dask în Python

Preparing Video For Download...