Introduction

Traitement de données à grande échelle en R

Simon Urbanek

Member of R-Core, Lead Inventive Scientist, AT&T Labs Research

bigmemory

Toutes les données doivent être stockées sur un seul disque
Les données doivent être représentées sous forme de matrice

iotools

Données de types variés – p. ex., data frames
Stockées sur plusieurs machines
Traite les données par « blocs »

Traiter un bloc à la fois, séquentiellement

Limite l'usage des ressources via la taille des blocs
Permet de réutiliser les résultats

Traiter chaque bloc indépendamment

Correspond à scinder‑calculer‑combiner
Aucune information ne peut être partagée entre blocs
Permet un traitement parallèle et distribué

Mapper et Réduire pour des opérations plus complexes

# Create a random vector
x <- rnorm(100)
# Find the mean
mean(x)

-0.01996644

# Take the sum of chunks of 
# the vector
sl <- Map(function(v) {
         c(sum(v), length(v))}, 
  list(x[1:25], x[26:100]))

# Add the sums and lengths
slr <- Reduce(`+`, sl)
# Find the mean
slr[1]/slr[2]

-0.01996644

Tout ne rentre pas dans Split‑Apply‑Combine

Les opérations qui exigent toutes les données à la fois ne peuvent pas être calculées avec l'approche Split‑Apply‑Combine.

Exemple : médiane

Cependant…

De nombreuses procédures de régression peuvent s'écrire en termes de split‑apply‑combine

Passons à la pratique !

Traitement de données à grande échelle en R