Le package parallel - parSapply

Écrire du code R efficace

Colin Gillespie

Jumping Rivers & Newcastle University

La famille apply

Il existe des versions parallèles de

apply() - parApply()
sapply() - parSapply()
- appliquer une fonction à un vecteur, équivaut à une boucle for
lapply() - parLapply()
- appliquer une fonction à une liste

La fonction sapply()

sapply() est juste une autre façon d'écrire une boucle for

La boucle

for(i in 1:10)
    x[i] <- simulate(i)

Peut s'écrire

sapply(1:10, simulate)

On applique une fonction à chaque valeur d'un vecteur

Passer à parSapply()

C'est la même recette !

Charger le package
Créer un cluster
Passer à parSapply()
Arrêter !

Exemple : combats Pokémon

plot(pokemon$Defense, pokemon$Attack)
abline(lm(pokemon$Attack ~ pokemon$Defense), col = 2)
cor(pokemon$Attack, pokemon$Defense)

0.437

Bootstrap

Dans un monde idéal, on rééchantillonnerait la population ; mais ce n'est pas possible

À la place, on suppose que l'échantillon initial représente la population

Échantillonner avec remise à partir de vos données
- Le même point peut apparaître plusieurs fois
Calculer la corrélation sur le nouvel échantillon
Répéter

Un seul bootstrap

bootstrap <- function(data_set) {
    # Sample with replacement
    s <- sample(1:nrow(data_set), replace = TRUE)
    new_data <- data_set[s,]

    # Calculate the correlation
    cor(new_data$Attack, new_data$Defense)
}

# 100 independent bootstrap simulations
sapply(1:100, function(i) bootstrap(pokemon))

Passer au parallèle

Charger le package
Indiquer le nombre de cœurs
Créer un objet cluster
Exporter fonctions/données
Passer à parSapply()
Arrêter !

library("parallel")

no_of_cores <- 7

cl <- makeCluster(no_of_cores)

clusterExport(cl,
  c("bootstrap", "pokemon"))

parSapply(cl, 1:100,
  function(i) bootstrap(pokemon))

stopCluster(cl)

Temps d'exécution

Passons à la pratique !

Écrire du code R efficace