병렬 환경에서의 재현성

R의 병렬 프로그래밍

Nabeel Imam

Data Scientist

재현성이란?

동일한 입력이면 실행할 때마다 동일한 결과가 나옴

코드를 테스트할 수 있음
다른 사람이 결과를 복제할 수 있음

코드 몇 줄이 원형 차트를 생성합니다. 같은 코드를 다시 실행해도 정확히 동일한 원형 차트가 생성됩니다.

고객 랜덤 추첨

print(customer_ids)

$USA
   [1] 465500 612953 106420 279492 376941 163474 164493 801983 898941 406844 829157 ...
$Canada
   [1] 140521 398164 817703 715385 771801 656814 721270 719120 425819 774558 111418 ...
$Mexico
   [1] 714842 486725 706765 858020 790364 390760 198667 419197 352989 202494 756636 ...
$UK
   [1] 886285 151731 274940 779966 375535 431644 880434 649074 765423 449147 408041 ...

고객 랜덤 추첨

lucky_draw <- function (ids) {
  sample(ids, 1)
}


cl <- makeCluster(4)


set.seed(1234)

parLapply(cl, customer_ids, lucky_draw)
stopCluster(cl)

$USA
[1] 673576

$Canada
[1] 164613

$Mexico
[1] 769658

$UK
[1] 683102

재현성 문제

1차 실행의 당첨자

$USA
[1] 673576

$Canada
[1] 164613

$Mexico
[1] 769658

$UK
[1] 683102

2차 실행의 당첨자

$USA
[1] 638051

$Canada
[1] 133431

$Mexico
[1] 522137

$UK
[1] 856141

해설

cl <- makeCluster(4)


# 클러스터의 모든 워커 프로세스에 동일한 시드 설정
clusterSetRNGStream(cl, 1234)


parLapply(cl, customer_ids, lucky_draw)
stopCluster(cl)

여러 번 실행해도 같은 결과

1차 실행의 당첨자

$USA
[1] 421408

$Canada
[1] 877562

$Mexico
[1] 460786

$UK
[1] 658513

2차 실행의 당첨자

$USA
[1] 421408

$Canada
[1] 877562

$Mexico
[1] 460786

$UK
[1] 658513

여러 번 실행해도 같은 결과

첫 번째 실행

cl <- makeCluster(4)

clusterSetRNGStream(cl, 1234)


run1 <- parLapply(cl, customer_ids, lucky_draw)
stopCluster(cl)

두 번째 실행

cl <- makeCluster(4)

clusterSetRNGStream(cl, 1234)

run2 <- parLapply(cl, customer_ids, lucky_draw)
stopCluster(cl)


identical(run1, run2)

[1] TRUE

furrr로 재현 가능한 결과

첫 번째 실행

config <- furrr_options(seed = 1234)


plan(multisession, workers = 4)

run1 <- future_map(customer_ids, lucky_draw,
                   .options = config)
plan(sequential)

두 번째 실행

plan(multisession, workers = 4)

run2 <- future_map(customer_ids, lucky_draw,
                  # 동일한 구성 사용
                  .options = config)
plan(sequential)

identical(run1, run2)

[1] TRUE

foreach로 재현 가능한 결과

첫 번째 실행

install.packages("doRNG")
library(doRNG)


cl <- makeCluster(4)
registerDoParallel(cl)

registerDoRNG(1234)


run1 <- foreach(i = customer_ids) %dopar% {
  lucky_draw(i)
}
stopCluster(cl)

두 번째 실행

cl <- makeCluster(4)
registerDoParallel(cl)
registerDoRNG(1234) # 동일한 시드

run2 <- foreach(i = customer_ids) %dopar% {
  lucky_draw(i)
}
stopCluster(cl)

identical(run1, run2)

[1] TRUE

재현성을 고려해야 할 때

난수 생성기 직접 호출
- rnorm, rbinom 등
무작위 샘플링
- 부트스트랩
- dplyr의 sample_n()

연습해 봅시다!

R의 병렬 프로그래밍