Reproductibilité en parallèle

Programmation parallèle en R

Nabeel Imam

Data Scientist

Qu'est-ce que la reproductibilité ?

Les mêmes entrées donnent toujours les mêmes résultats

Le code peut être testé
D'autres peuvent reproduire les résultats

Des lignes de code produisent un diagramme circulaire. Une seconde exécution des mêmes lignes produit exactement le même diagramme circulaire.

Le tirage au sort des client·e·s

print(customer_ids)

$USA
   [1] 465500 612953 106420 279492 376941 163474 164493 801983 898941 406844 829157 ...
$Canada
   [1] 140521 398164 817703 715385 771801 656814 721270 719120 425819 774558 111418 ...
$Mexico
   [1] 714842 486725 706765 858020 790364 390760 198667 419197 352989 202494 756636 ...
$UK
   [1] 886285 151731 274940 779966 375535 431644 880434 649074 765423 449147 408041 ...

Le tirage au sort des client·e·s

lucky_draw <- function (ids) {
  sample(ids, 1)
}


cl <- makeCluster(4)


set.seed(1234)

parLapply(cl, customer_ids, lucky_draw)
stopCluster(cl)

$USA
[1] 673576

$Canada
[1] 164613

$Mexico
[1] 769658

$UK
[1] 683102

Le problème de reproductibilité

Gagnant·e·s du premier essai

$USA
[1] 673576

$Canada
[1] 164613

$Mexico
[1] 769658

$UK
[1] 683102

Gagnant·e·s du deuxième essai

$USA
[1] 638051

$Canada
[1] 133431

$Mexico
[1] 522137

$UK
[1] 856141

Solution

cl <- makeCluster(4)


# Une graine pour tous les processus travailleurs du grappe
clusterSetRNGStream(cl, 1234)


parLapply(cl, customer_ids, lucky_draw)
stopCluster(cl)

Plusieurs exécutions, mêmes résultats

Gagnant·e·s du premier essai

$USA
[1] 421408

$Canada
[1] 877562

$Mexico
[1] 460786

$UK
[1] 658513

Gagnant·e·s du deuxième essai

$USA
[1] 421408

$Canada
[1] 877562

$Mexico
[1] 460786

$UK
[1] 658513

Plusieurs exécutions, mêmes résultats

Premier essai

cl <- makeCluster(4)

clusterSetRNGStream(cl, 1234)


run1 <- parLapply(cl, customer_ids, lucky_draw)
stopCluster(cl)

Deuxième essai

cl <- makeCluster(4)

clusterSetRNGStream(cl, 1234)

run2 <- parLapply(cl, customer_ids, lucky_draw)
stopCluster(cl)


identical(run1, run2)

[1] TRUE

Résultats reproductibles avec furrr

Premier essai

config <- furrr_options(seed = 1234)


plan(multisession, workers = 4)

run1 <- future_map(customer_ids, lucky_draw,
                   .options = config)
plan(sequential)

Deuxième essai

plan(multisession, workers = 4)

run2 <- future_map(customer_ids, lucky_draw,
                  # En utilisant la même configuration
                  .options = config)
plan(sequential)

identical(run1, run2)

[1] TRUE

Résultats reproductibles avec foreach

Premier essai

install.packages("doRNG")
library(doRNG)


cl <- makeCluster(4)
registerDoParallel(cl)

registerDoRNG(1234)


run1 <- foreach(i = customer_ids) %dopar% {
  lucky_draw(i)
}
stopCluster(cl)

Deuxième essai

cl <- makeCluster(4)
registerDoParallel(cl)
registerDoRNG(1234) # Même graine

run2 <- foreach(i = customer_ids) %dopar% {
  lucky_draw(i)
}
stopCluster(cl)

identical(run1, run2)

[1] TRUE

Quand penser à la reproductibilité

Appel direct aux générateurs aléatoires
- rnorm, rbinom, etc.
Échantillonnage aléatoire
- Bootstrap
- sample_n() de dplyr

Passons à la pratique !

Programmation parallèle en R