Projekt Bigmemory

Škálovatelné zpracování dat v R

Michael Kane

Assistant Professor, Yale University

bigmemory

bigmemory slouží k ukládání, manipulaci a zpracování velkých matic, které mohou přesahovat velikost operační paměti

big.matrix

Vytvoření
Načtení
Výběr podmnožiny
Shrnutí

Co znamená „out-of-core"?

Objekty R jsou uchovávány v RAM
Při vyčerpání RAM
- Data se přesunou na disk
- Programy běží pomalu nebo havarují

Je výhodnější načítat data do RAM pouze tehdy, kdy jsou potřeba ke zpracování.

Kdy použít big.matrix?

20 % velikosti RAM
Husté matice

Přehled balíčku bigmemory

bigmemory implementuje datový typ big.matrix pro vytváření, ukládání, přístup a manipulaci s maticemi uloženými na disku
Data jsou uchovávána na disku a implicitně přesouván do RAM

Přehled balíčku bigmemory

Objekt big.matrix:

Stačí importovat jednou
Soubor „backing"
Soubor „descriptor"

Příklad použití bigmemory

library(bigmemory)

# Create a new big.matrix object
x <- big.matrix(nrow = 1, ncol = 3, type = "double", 
                init = 0, 
                backingfile = "hello_big_matrix.bin",
                descriptorfile = "hello_big_matrix.desc")

Soubory backing a descriptor

backing soubor: binární reprezentace matice na disku
descriptor soubor: obsahuje metadata, např. počet řádků, sloupců, názvy atd.

Příklad použití bigmemory

# See what's in it
 x[,]

  0    0    0

An object of class "big.matrix"
Slot "address":
<pointer: 0x108e2a9a0>

Podobnosti s maticemi

# Change the value in the first row and column
x[1, 1] <- 3

# Verify the change has been made
x[,]

   3    0    0

Pojďme procvičovat!

Škálovatelné zpracování dat v R