Omezení bigmemory

Škálovatelné zpracování dat v R

Michael Kane

Assistant Professor, Yale University

Kde lze bigmemory použít?

  • bigmemory lze použít, pokud jsou data:
    • matice
    • hustá
    • numerická
  • Základní datové struktury jsou kompatibilní s nízkoúrovňovými knihovnami lineární algebry pro rychlé fitování modelů
  • Pro různé typy sloupců lze zkusit balíček ff
Škálovatelné zpracování dat v R

Přístup k disku

big.matrix je datová struktura navržená pro náhodný přístup

Škálovatelné zpracování dat v R

Nevýhody náhodného přístupu

  • K existujícímu objektu big.matrix nelze přidávat řádky ani sloupce
  • Na disku musí být dostatek místa pro celou matici v jednom souvislém bloku
Škálovatelné zpracování dat v R

Pojďme procvičovat!

Škálovatelné zpracování dat v R

Preparing Video For Download...