Paketet parallel – parSapply

Effektiv R-kod

Colin Gillespie

Jumping Rivers & Newcastle University

Apply-familjen

Det finns parallella versioner av

apply()- parApply()
sapply()- parSapply()
- applicerar en funktion på en vektor, dvs. en for-loop
lapply()- parLapply()
- applicerar en funktion på en lista

Funktionen sapply()

sapply() är bara ett annat sätt att skriva en for-loop

Loopen

for(i in 1:10)
    x[i] <- simulate(i)

Kan skrivas som

sapply(1:10, simulate)

Vi applicerar en funktion på varje värde i en vektor

Byta till parSapply()

Samma recept som vanligt!

Läs in paketet
Skapa ett kluster
Byt till parSapply()
Stopp!

Exempel: Pokémon-strider

plot(pokemon$Defense, pokemon$Attack)
abline(lm(pokemon$Attack ~ pokemon$Defense), col = 2)
cor(pokemon$Attack, pokemon$Defense)

0.437

Bootstrapping

I en perfekt värld skulle vi ta urval från populationen, men det är inte möjligt

I stället antar vi att det ursprungliga urvalet representerar populationen

Ta urval med återläggning från dina data
- Samma datapunkt kan förekomma flera gånger
Beräkna korrelationsstatistiken från det nya urvalet
Upprepa

En enskild bootstrap

bootstrap <- function(data_set) {
    # Sample with replacement
    s <- sample(1:nrow(data_set), replace = TRUE)
    new_data <- data_set[s,]

    # Calculate the correlation
    cor(new_data$Attack, new_data$Defense)
}

# 100 independent bootstrap simulations
sapply(1:100, function(i) bootstrap(pokemon))

Konvertera till parallell körning

Läs in paketet
Ange antal kärnor
Skapa ett klusterobjekt
Exportera funktioner/data
Byt till parSapply()
Stopp!

library("parallel")

no_of_cores <- 7

cl <- makeCluster(no_of_cores)

clusterExport(cl,
  c("bootstrap", "pokemon"))

parSapply(cl, 1:100,
  function(i) bootstrap(pokemon))

stopCluster(cl)

Tidsåtgång

Nu kör vi en övning!

Effektiv R-kod