Limitările bigmemory

Procesarea scalabilă a datelor în R

Michael Kane

Assistant Professor, Yale University

Unde puteți utiliza bigmemory?

  • Puteți utiliza bigmemory când datele sunt
    • matrici
    • dense
    • numerice
  • Structurile de date subiacente sunt compatibile cu bibliotecile de algebră liniară pentru ajustarea rapidă a modelelor
  • Pentru tipuri diferite de coloane, încercați pachetul ff
Procesarea scalabilă a datelor în R

Înțelegerea accesului pe disc

Un big.matrix este o structură de date concepută pentru acces aleatoriu

Procesarea scalabilă a datelor în R

Dezavantajele accesului aleatoriu

  • Nu se pot adăuga rânduri sau coloane la un obiect big.matrix existent
  • Este necesar suficient spațiu pe disc pentru a stoca întreaga matrice într-un bloc continuu
Procesarea scalabilă a datelor în R

Să exersăm!

Procesarea scalabilă a datelor în R

Preparing Video For Download...