Introduzione

Elaborazione scalabile dei dati in R

Simon Urbanek

Member of R-Core, Lead Inventive Scientist, AT&T Labs Research

bigmemory

Tutti i dati devono stare su un solo disco
I dati devono essere una matrice

iotools

I dati possono avere più tipi, es. data frame
Archiviati su più macchine
Elabora i dati a «blocchi»

Elabora un blocco alla volta in sequenza

Limita le risorse controllando la dimensione del blocco
Permette di portare avanti i risultati

Elabora ogni blocco in modo indipendente

Corrisponde a split-compute-combine
Nessuna informazione può essere condivisa tra blocchi
Consente elaborazione parallela e distribuita

Mapping e Reducing per operazioni più complesse

# Create a random vector
x <- rnorm(100)
# Find the mean
mean(x)

-0.01996644

# Take the sum of chunks of 
# the vector
sl <- Map(function(v) {
         c(sum(v), length(v))}, 
  list(x[1:25], x[26:100]))

# Add the sums and lengths
slr <- Reduce(`+`, sl)
# Find the mean
slr[1]/slr[2]

-0.01996644

Non tutto rientra in Split-Apply-Combine

Le operazioni che richiedono tutti i dati insieme non si possono calcolare con l'approccio Split-Apply-Combine.

Esempio: Mediana

Tuttavia…

Molte routine di regressione si possono scrivere in termini di split-apply-combine

Esercitiamoci!

Elaborazione scalabile dei dati in R