Co je škálovatelné zpracování dat?

Škálovatelné zpracování dat v R

Michael J. Kane and Simon Urbanek

Instructors, DataCamp

V tomto kurzu ..

  • Práce s daty příliš velkými pro váš počítač
  • Psaní škálovatelného kódu
  • Import a zpracování dat po částech
Škálovatelné zpracování dat v R

RAM

Všechny objekty R jsou uloženy v RAM

Škálovatelné zpracování dat v R

Škálovatelné zpracování dat v R

Jak velké mohou být proměnné?

"R není vhodný pro práci s daty většími než 10–20 % RAM počítače." – The R Installation and Administration Manual

Škálovatelné zpracování dat v R

Swapping je neefektivní

  • Pokud dojde RAM, data se přesunou na disk
  • Disk je výrazně pomalejší než RAM, doba zpracování se prodlouží
Škálovatelné zpracování dat v R

Škálovatelná řešení

  • Přesuňte část dat do RAM
  • Zpracujte tuto část
  • Uložte výsledek a část zahoďte
Škálovatelné zpracování dat v R

Proč je můj kód pomalý?

  • Složitost výpočtů

  • Pečlivě zvažte diskové operace pro rychlý a škálovatelný kód

Škálovatelné zpracování dat v R

Měření výkonu

library(microbenchmark)

microbenchmark( rnorm(100), rnorm(10000) )

Unit: microseconds
         expr    min      lq     mean  median      uq     max neval
   rnorm(100)   7.84   8.440   9.5459   8.773   9.355   29.56   100
 rnorm(10000) 679.51 683.706 755.5693 690.876 712.416 2949.03   100
Škálovatelné zpracování dat v R

Pojďme si procvičit!

Škálovatelné zpracování dat v R

Preparing Video For Download...