Відтворюваність у паралелі

Паралельне програмування в R

Nabeel Imam

Data Scientist

Що таке відтворюваність?

Однакове входження дає однакові результати щоразу

Код можна тестувати
Інші можуть відтворити результати

Рядки коду створюють кругову діаграму. Другий запуск тих самих рядків коду дає точно таку саму діаграму.

Розіграш для клієнтів

print(customer_ids)

$USA
   [1] 465500 612953 106420 279492 376941 163474 164493 801983 898941 406844 829157 ...
$Canada
   [1] 140521 398164 817703 715385 771801 656814 721270 719120 425819 774558 111418 ...
$Mexico
   [1] 714842 486725 706765 858020 790364 390760 198667 419197 352989 202494 756636 ...
$UK
   [1] 886285 151731 274940 779966 375535 431644 880434 649074 765423 449147 408041 ...

Розіграш для клієнтів

lucky_draw <- function (ids) {
  sample(ids, 1)
}


cl <- makeCluster(4)


set.seed(1234)

parLapply(cl, customer_ids, lucky_draw)
stopCluster(cl)

$USA
[1] 673576

$Canada
[1] 164613

$Mexico
[1] 769658

$UK
[1] 683102

Проблема з відтворюваністю

Переможці першого запуску

$USA
[1] 673576

$Canada
[1] 164613

$Mexico
[1] 769658

$UK
[1] 683102

Переможці другого запуску

$USA
[1] 638051

$Canada
[1] 133431

$Mexico
[1] 522137

$UK
[1] 856141

Рішення

cl <- makeCluster(4)


# A seed for all worker processes in cluster
clusterSetRNGStream(cl, 1234)


parLapply(cl, customer_ids, lucky_draw)
stopCluster(cl)

Кілька запусків — ті самі результати

Переможці першого запуску

$USA
[1] 421408

$Canada
[1] 877562

$Mexico
[1] 460786

$UK
[1] 658513

Переможці другого запуску

$USA
[1] 421408

$Canada
[1] 877562

$Mexico
[1] 460786

$UK
[1] 658513

Кілька запусків — ті самі результати

Перший запуск

cl <- makeCluster(4)

clusterSetRNGStream(cl, 1234)


run1 <- parLapply(cl, customer_ids, lucky_draw)
stopCluster(cl)

Другий запуск

cl <- makeCluster(4)

clusterSetRNGStream(cl, 1234)

run2 <- parLapply(cl, customer_ids, lucky_draw)
stopCluster(cl)


identical(run1, run2)

[1] TRUE

Відтворювані результати з furrr

Перший запуск

config <- furrr_options(seed = 1234)


plan(multisession, workers = 4)

run1 <- future_map(customer_ids, lucky_draw,
                   .options = config)
plan(sequential)

Другий запуск

plan(multisession, workers = 4)

run2 <- future_map(customer_ids, lucky_draw,
                  # Використовуємо ту саму конфігурацію
                  .options = config)
plan(sequential)

identical(run1, run2)

[1] TRUE

Відтворювані результати з foreach

Перший запуск

install.packages("doRNG")
library(doRNG)


cl <- makeCluster(4)
registerDoParallel(cl)

registerDoRNG(1234)


run1 <- foreach(i = customer_ids) %dopar% {
  lucky_draw(i)
}
stopCluster(cl)

Другий запуск

cl <- makeCluster(4)
registerDoParallel(cl)
registerDoRNG(1234) # Та сама зернина

run2 <- foreach(i = customer_ids) %dopar% {
  lucky_draw(i)
}
stopCluster(cl)

identical(run1, run2)

[1] TRUE

Коли думати про відтворюваність

Прямий виклик генераторів випадкових чисел
- rnorm, rbinom тощо
Випадкова вибірка
- Бутстрепи
- sample_n() з dplyr

Давайте потренуємось!

Паралельне програмування в R