Felicitări!

Procesarea scalabilă a datelor în R

Michael J. Kane and Simon Urbanek

Instructors, DataCamp

Împarte-Aplică-Combină

  • Împărțiți datele în părți
  • Calculați pe fiecare parte
  • Combinați rezultatele
Procesarea scalabilă a datelor în R

Împarte-Aplică-Combină: Avantaje

  • Părțile mici nu suprasolicită calculatorul
  • Abordarea se paralelizează ușor
  • Procesare secvențială
  • Procesare pe mai multe mașini într-un cluster
Procesarea scalabilă a datelor în R

Împarte-Aplică-Combină: R

  • split() partajează un set de indici de rânduri sau un data.frame

  • Map() calculează pe fiecare parte

  • Reduce() combină rezultatele

Procesarea scalabilă a datelor în R

bigmemory

bigmemory

  • Potrivit pentru seturi de date mari, reprezentabile ca matrice dense, care pot depăși RAM
  • Se comportă ca o matrice R obișnuită
Procesarea scalabilă a datelor în R

iotools

iotools

  • Potrivit pentru date foarte mari, procesabile în fragmente secvențiale
  • Suportă data.frame și matrix
Procesarea scalabilă a datelor în R

Procesarea scalabilă a datelor în R

Mult succes!

Procesarea scalabilă a datelor în R

Preparing Video For Download...