Pachetul parallel - parSapply

Scrierea codului R eficient

Colin Gillespie

Jumping Rivers & Newcastle University

Familia apply

Există versiuni paralele ale

apply()- parApply()
sapply()- parSapply()
- aplicarea unei funcții pe un vector, adică o buclă for
lapply()- parLapply()
- aplicarea unei funcții pe o listă

Funcția sapply()

sapply() este o altă modalitate de a scrie o buclă for

Bucla

for(i in 1:10)
    x[i] <- simulate(i)

Poate fi scrisă ca

sapply(1:10, simulate)

Aplicăm o funcție fiecărei valori dintr-un vector

Trecerea la parSapply()

Aceeași rețetă!

Încărcați pachetul
Creați un cluster
Treceți la parSapply()
Opriți!

Exemplu: bătălii Pokémon

plot(pokemon$Defense, pokemon$Attack)
abline(lm(pokemon$Attack ~ pokemon$Defense), col = 2)
cor(pokemon$Attack, pokemon$Defense)

0.437

Bootstrapping

Ideal, am reeșantiona din populație; dar nu putem

În schimb, presupunem că eșantionul original este reprezentativ pentru populație

Eșantionați cu înlocuire din datele dvs.
- Același punct poate apărea de mai multe ori
Calculați corelația din noul eșantion
Repetați

Un singur bootstrap

bootstrap <- function(data_set) {
    # Sample with replacement
    s <- sample(1:nrow(data_set), replace = TRUE)
    new_data <- data_set[s,]

    # Calculate the correlation
    cor(new_data$Attack, new_data$Defense)
}

# 100 independent bootstrap simulations
sapply(1:100, function(i) bootstrap(pokemon))

Conversia la execuție paralelă

Încărcați pachetul
Specificați numărul de nuclee
Creați un obiect cluster
Exportați funcții/date
Treceți la parSapply()
Opriți!

library("parallel")

no_of_cores <- 7

cl <- makeCluster(no_of_cores)

clusterExport(cl,
  c("bootstrap", "pokemon"))

parSapply(cl, 1:100,
  function(i) bootstrap(pokemon))

stopCluster(cl)

Timpi de execuție

Să exersăm!

Scrierea codului R eficient