Eşzamanlı çalışmada yeniden üretilebilirlik

R'da Paralel Programlama

Nabeel Imam

Data Scientist

Yeniden üretilebilirlik nedir?

Aynı girdi, kodu her çalıştırdığımızda aynı sonuçları verir

Kod test edilebilir
Sonuçlar başkalarınca çoğaltılabilir

Kod satırları bir pasta grafiği üretir. Aynı kod satırlarının ikinci çalıştırması tam olarak aynı pasta grafiğini üretir.

Müşteri çekilişi

print(customer_ids)

$USA
   [1] 465500 612953 106420 279492 376941 163474 164493 801983 898941 406844 829157 ...
$Canada
   [1] 140521 398164 817703 715385 771801 656814 721270 719120 425819 774558 111418 ...
$Mexico
   [1] 714842 486725 706765 858020 790364 390760 198667 419197 352989 202494 756636 ...
$UK
   [1] 886285 151731 274940 779966 375535 431644 880434 649074 765423 449147 408041 ...

Müşteri çekilişi

lucky_draw <- function (ids) {
  sample(ids, 1)
}


cl <- makeCluster(4)


set.seed(1234)

parLapply(cl, customer_ids, lucky_draw)
stopCluster(cl)

$USA
[1] 673576

$Canada
[1] 164613

$Mexico
[1] 769658

$UK
[1] 683102

Yeniden üretilebilirlik sorunu

İlk çalıştırmadaki kazananlar

$USA
[1] 673576

$Canada
[1] 164613

$Mexico
[1] 769658

$UK
[1] 683102

İkinci çalıştırmadaki kazananlar

$USA
[1] 638051

$Canada
[1] 133431

$Mexico
[1] 522137

$UK
[1] 856141

Çözüm

cl <- makeCluster(4)


# Kümedeki tüm işçi süreçler için bir tohum
clusterSetRNGStream(cl, 1234)


parLapply(cl, customer_ids, lucky_draw)
stopCluster(cl)

Aynı sonuçlarla birden çok çalıştırma

İlk çalıştırmadaki kazananlar

$USA
[1] 421408

$Canada
[1] 877562

$Mexico
[1] 460786

$UK
[1] 658513

İkinci çalıştırmadaki kazananlar

$USA
[1] 421408

$Canada
[1] 877562

$Mexico
[1] 460786

$UK
[1] 658513

Aynı sonuçlarla birden çok çalıştırma

İlk çalıştırma

cl <- makeCluster(4)

clusterSetRNGStream(cl, 1234)


run1 <- parLapply(cl, customer_ids, lucky_draw)
stopCluster(cl)

İkinci çalıştırma

cl <- makeCluster(4)

clusterSetRNGStream(cl, 1234)

run2 <- parLapply(cl, customer_ids, lucky_draw)
stopCluster(cl)


identical(run1, run2)

[1] TRUE

furrr ile yeniden üretilebilir sonuçlar

İlk çalıştırma

config <- furrr_options(seed = 1234)


plan(multisession, workers = 4)

run1 <- future_map(customer_ids, lucky_draw,
                   .options = config)
plan(sequential)

İkinci çalıştırma

plan(multisession, workers = 4)

run2 <- future_map(customer_ids, lucky_draw,
                  # Aynı yapılandırma kullanılıyor
                  .options = config)
plan(sequential)

identical(run1, run2)

[1] TRUE

foreach ile yeniden üretilebilir sonuçlar

İlk çalıştırma

install.packages("doRNG")
library(doRNG)


cl <- makeCluster(4)
registerDoParallel(cl)

registerDoRNG(1234)


run1 <- foreach(i = customer_ids) %dopar% {
  lucky_draw(i)
}
stopCluster(cl)

İkinci çalıştırma

cl <- makeCluster(4)
registerDoParallel(cl)
registerDoRNG(1234) # Aynı tohum

run2 <- foreach(i = customer_ids) %dopar% {
  lucky_draw(i)
}
stopCluster(cl)

identical(run1, run2)

[1] TRUE

Ne zaman yeniden üretilebilirliği düşünmeli

Rastgele sayı üreteçlerine doğrudan çağrı
- rnorm, rbinom, vb.
Rastgele örnekleme
- Bootstrap
- dplyr içindeki sample_n()

Hadi pratik yapalım!

R'da Paralel Programlama