Gratulujeme!

Škálovatelné zpracování dat v R

Michael J. Kane and Simon Urbanek

Instructors, DataCamp

Rozděl-Aplikuj-Kombinuj

  • Rozdělení dat na části
  • Výpočet na částech
  • Kombinace výsledků
Škálovatelné zpracování dat v R

Rozděl-Aplikuj-Kombinuj: Výhody

  • Menší části nepřetíží počítač
  • Přístup je snadno paralelizovatelný
  • Sekvenční zpracování
  • Zpracování na více strojích v clusteru
Škálovatelné zpracování dat v R

Rozděl-Aplikuj-Kombinuj: R

  • split() rozdělí sadu čísel řádků nebo data.frame

  • Map() provede výpočet na částech

  • Reduce() kombinuje výsledky

Škálovatelné zpracování dat v R

bigmemory

bigmemory

  • Vhodné pro větší datové sady reprezentovatelné jako husté matice, které se nemusí vejít do RAM
  • Chová se jako běžná matice v R
Škálovatelné zpracování dat v R

iotools

iotools

  • Vhodné pro velmi velká data zpracovatelná v sekvenčních blocích
  • Podporuje data.frame a matrix
Škálovatelné zpracování dat v R

Škálovatelné zpracování dat v R

Hodně štěstí!

Škálovatelné zpracování dat v R

Preparing Video For Download...