पैरेलल में पुनरुत्पादकता

R में पैरेलल प्रोग्रामिंग

Nabeel Imam

Data Scientist

Reproducibility क्या है?

एक जैसे इनपुट पर हर रन में एक जैसे नतीजे

कोड टेस्ट किया जा सकता है
दूसरे लोग नतीजे दोहरा सकते हैं

कोड की लाइनें एक पाई चार्ट बनाती हैं. वही लाइनें दोबारा चलाने पर बिल्कुल वही पाई चार्ट बनता है.

कस्टमर लकी ड्रॉ

print(customer_ids)

$USA
   [1] 465500 612953 106420 279492 376941 163474 164493 801983 898941 406844 829157 ...
$Canada
   [1] 140521 398164 817703 715385 771801 656814 721270 719120 425819 774558 111418 ...
$Mexico
   [1] 714842 486725 706765 858020 790364 390760 198667 419197 352989 202494 756636 ...
$UK
   [1] 886285 151731 274940 779966 375535 431644 880434 649074 765423 449147 408041 ...

कस्टमर लकी ड्रॉ

lucky_draw <- function (ids) {
  sample(ids, 1)
}


cl <- makeCluster(4)


set.seed(1234)

parLapply(cl, customer_ids, lucky_draw)
stopCluster(cl)

$USA
[1] 673576

$Canada
[1] 164613

$Mexico
[1] 769658

$UK
[1] 683102

Reproducibility की समस्या

पहली रन के विजेता

$USA
[1] 673576

$Canada
[1] 164613

$Mexico
[1] 769658

$UK
[1] 683102

दूसरी रन के विजेता

$USA
[1] 638051

$Canada
[1] 133431

$Mexico
[1] 522137

$UK
[1] 856141

समाधान

cl <- makeCluster(4)


# A seed for all worker processes in cluster
clusterSetRNGStream(cl, 1234)


parLapply(cl, customer_ids, lucky_draw)
stopCluster(cl)

कई रन, वही नतीजे

पहली रन के विजेता

$USA
[1] 421408

$Canada
[1] 877562

$Mexico
[1] 460786

$UK
[1] 658513

दूसरी रन के विजेता

$USA
[1] 421408

$Canada
[1] 877562

$Mexico
[1] 460786

$UK
[1] 658513

कई रन, वही नतीजे

पहली रन

cl <- makeCluster(4)

clusterSetRNGStream(cl, 1234)


run1 <- parLapply(cl, customer_ids, lucky_draw)
stopCluster(cl)

दूसरी रन

cl <- makeCluster(4)

clusterSetRNGStream(cl, 1234)

run2 <- parLapply(cl, customer_ids, lucky_draw)
stopCluster(cl)


identical(run1, run2)

[1] TRUE

furrr के साथ पुनरुत्पादक नतीजे

पहली रन

config <- furrr_options(seed = 1234)


plan(multisession, workers = 4)

run1 <- future_map(customer_ids, lucky_draw,
                   .options = config)
plan(sequential)

दूसरी रन

plan(multisession, workers = 4)

run2 <- future_map(customer_ids, lucky_draw,
                  # वही कॉन्फ़िगरेशन उपयोग कर रहे हैं
                  .options = config)
plan(sequential)

identical(run1, run2)

[1] TRUE

foreach के साथ पुनरुत्पादक नतीजे

पहली रन

install.packages("doRNG")
library(doRNG)


cl <- makeCluster(4)
registerDoParallel(cl)

registerDoRNG(1234)


run1 <- foreach(i = customer_ids) %dopar% {
  lucky_draw(i)
}
stopCluster(cl)

दूसरी रन

cl <- makeCluster(4)
registerDoParallel(cl)
registerDoRNG(1234) # वही seed

run2 <- foreach(i = customer_ids) %dopar% {
  lucky_draw(i)
}
stopCluster(cl)

identical(run1, run2)

[1] TRUE

कब reproducibility पर ध्यान दें

रैंडम नंबर जनरेटर को सीधे कॉल करना
- rnorm, rbinom, आदि
रैंडम सैंपलिंग
- बूटस्ट्रैप्स
- dplyr का sample_n()

अभ्यास करते हैं!

R में पैरेलल प्रोग्रामिंग