Пакет parallel — parSapply

Эффективный код на R

Colin Gillespie

Jumping Rivers & Newcastle University

Семейство apply

Существуют параллельные версии

apply()- parApply()
sapply()- parSapply()
- применение функции к вектору, т.е. цикл for
lapply()- parLapply()
- применение функции к списку

Функция sapply()

sapply() — это просто другой способ записи цикла for

Цикл

for(i in 1:10)
    x[i] <- simulate(i)

Можно записать как

sapply(1:10, simulate)

Мы применяем функцию к каждому значению вектора

Переход на parSapply()

Та же схема!

Загрузить пакет
Создать кластер
Перейти на parSapply()
Остановить!

Пример: битвы покемонов

plot(pokemon$Defense, pokemon$Attack)
abline(lm(pokemon$Attack ~ pokemon$Defense), col = 2)
cor(pokemon$Attack, pokemon$Defense)

0.437

Бутстрэппинг

В идеале выборка берётся из генеральной совокупности, но это не всегда возможно

Вместо этого предполагается, что исходная выборка представительна для совокупности

Выполните выборку с возвращением из ваших данных
- Одна и та же точка может встречаться несколько раз
Вычислите статистику корреляции для новой выборки
Повторите

Одна итерация бутстрэппинга

bootstrap <- function(data_set) {
    # Sample with replacement
    s <- sample(1:nrow(data_set), replace = TRUE)
    new_data <- data_set[s,]

    # Calculate the correlation
    cor(new_data$Attack, new_data$Defense)
}

# 100 independent bootstrap simulations
sapply(1:100, function(i) bootstrap(pokemon))

Переход на параллельные вычисления

Загрузить пакет
Указать количество ядер
Создать объект кластера
Экспортировать функции/данные
Перейти на parSapply()
Остановить!

library("parallel")

no_of_cores <- 7

cl <- makeCluster(no_of_cores)

clusterExport(cl,
  c("bootstrap", "pokemon"))

parSapply(cl, 1:100,
  function(i) bootstrap(pokemon))

stopCluster(cl)

Замеры времени

Давайте потренируемся!

Эффективный код на R