Begränsningar med bigmemory

Skalbar databehandling i R

Michael Kane

Assistant Professor, Yale University

När kan du använda bigmemory?

  • Du kan använda bigmemory när dina data är
    • matriser
    • täta
    • numeriska
  • Underliggande datastrukturer är kompatibla med linjäralgebrabibliotek på låg nivå för snabb modellpassning
  • Har du olika kolumntyper kan du prova paketet ff
Skalbar databehandling i R

Förstå diskåtkomst

En big.matrix är en datastruktur utformad för direktåtkomst

Skalbar databehandling i R

Nackdelar med direktåtkomst

  • Det går inte att lägga till rader eller kolumner i ett befintligt big.matrix-objekt
  • Du behöver tillräckligt med diskutrymme för att lagra hela matrisen i ett sammanhängande block
Skalbar databehandling i R

Nu kör vi en övning!

Skalbar databehandling i R

Preparing Video For Download...