Ce este procesarea scalabilă a datelor?

Procesarea scalabilă a datelor în R

Michael J. Kane and Simon Urbanek

Instructors, DataCamp

În acest curs...

  • Lucrați cu date prea mari pentru computerul dvs.
  • Scrieți cod scalabil
  • Importați și procesați datele în blocuri
Procesarea scalabilă a datelor în R

RAM

Toate obiectele R sunt stocate în RAM

Procesarea scalabilă a datelor în R

Procesarea scalabilă a datelor în R

Cât de mari pot fi variabilele?

"R nu este bine adaptat pentru a lucra cu date mai mari de 10-20% din RAM-ul unui computer." - Manualul de instalare și administrare R

Procesarea scalabilă a datelor în R

Swap-ul este ineficient

  • Dacă RAM-ul este insuficient, datele sunt mutate pe disc
  • Discul este mult mai lent decât RAM-ul, deci timpul de execuție crește
Procesarea scalabilă a datelor în R

Soluții scalabile

  • Încărcați un subset în RAM
  • Procesați subsetul
  • Păstrați rezultatul și eliminați subsetul
Procesarea scalabilă a datelor în R

De ce este codul meu lent?

  • Complexitatea calculelor

  • Gestionați cu atenție operațiunile pe disc pentru cod rapid și scalabil

Procesarea scalabilă a datelor în R

Măsurarea performanței

library(microbenchmark)

microbenchmark( rnorm(100), rnorm(10000) )

Unit: microseconds
         expr    min      lq     mean  median      uq     max neval
   rnorm(100)   7.84   8.440   9.5459   8.773   9.355   29.56   100
 rnorm(10000) 679.51 683.706 755.5693 690.876 712.416 2949.03   100
Procesarea scalabilă a datelor în R

Să exersăm!

Procesarea scalabilă a datelor în R

Preparing Video For Download...