Limiti di bigmemory

Elaborazione scalabile dei dati in R

Michael Kane

Assistant Professor, Yale University

Dove puoi usare bigmemory?

  • Puoi usare bigmemory quando i dati sono
    • matrici
    • densi
    • numerici
  • Le strutture dati sottostanti sono compatibili con librerie di algebra lineare di basso livello per adattare i modelli in modo rapido
  • Se hai colonne di tipi diversi, prova il pacchetto ff
Elaborazione scalabile dei dati in R

Capire l'accesso al disco

Una big.matrix è una struttura dati progettata per l'accesso casuale

Elaborazione scalabile dei dati in R

Svantaggi dell'accesso casuale

  • Non puoi aggiungere righe o colonne a un oggetto big.matrix esistente
  • Devi avere spazio su disco sufficiente per contenere l'intera matrice in un unico grande blocco
Elaborazione scalabile dei dati in R

Esercitiamoci!

Elaborazione scalabile dei dati in R

Preparing Video For Download...