描绘未来

R 并行编程

Nabeel Imam

Data Scientist

了解 futures

report <- "<important report text>"

task_future <- future({
  print("Hi, please find attached the report.")
  report
})
R 并行编程

用 purrr 映射

library(purrr)


numbers <- 1:1000000
map(numbers, sqrt)

[[1]]
[1] 1

[[2]]
[1] 1.414214

[[3]]
[1] 1.732051

[[4]]
[1] 2
...
R 并行编程

map 的不同变体

map_dbl(numbers, sqrt)

 [1]  1.000000  1.414214  1.732051 
 [4]  2.000000  2.236068  2.449490
 [7]  2.645751  2.828427  3.000000  
[10]  3.162278  3.316625  3.464102
[13]  3.605551  3.741657  3.872983
  ...
  • 组合：map + "_dbl" 后缀
    • 输出为双精度/小数

 

  • 结果返回为向量
R 并行编程

map 的不同变体

map_chr(numbers, sqrt)

 [1] "1.000000"  "1.414214"  "1.732051"
 [4] "2.000000"  "2.236068"  "2.449490"
 [7] "2.645751"  "2.828427"  "3.000000"
[10] "3.162278"  "3.316625"  "3.464102"
[13] "3.605551"  "3.741657"  "3.872983"
  ...
  • 组合：map + "_chr" 后缀
    • 输出为字符/字符串

 

  • 字符向量
R 并行编程

map 的不同变体

函数

  • map()
  • map_chr()
  • map_dbl()
  • map_int()
  • map_lgl()

输出类型

  • 向量、数据框等的列表
  • 字符串（单值）
  • 双精度/小数（单值）
  • 整数（单值）
  • 逻辑/布尔（单值）
R 并行编程

类型指定

microbenchmark(
  "map" = map(numbers, sqrt),
  "map_dbl" = map_dbl(numbers, sqrt),
  "map_chr" = map_chr(numbers, sqrt),
  times = 10
)

Unit: milliseconds
     expr     min    mean     max neval
1     map  794.20 1254.46 1904.02    10
2 map_dbl  889.33 1067.41 1496.56    10
3 map_chr 1735.96 1934.97 2269.59    10
R 并行编程

future + purrr = furrr

purrr

顺序执行

library(purrr)
map_dbl(1:1000000, sqrt)

furrr

并行可用

library(furrr)
future_map_dbl(1:1000000, sqrt)
R 并行编程

并行使用 furrr

n_cores <- detectCore() - 2


plan(multisession, workers = n_cores)


future_map_dbl(1:1000000, sqrt) # Future enabled map_dbl()


plan(sequential)

   [1]  1.000000  1.414214  1.732051  2.000000  2.236068  2.449490  2.645751
   [8]  2.828427  3.000000  3.162278  3.316625  3.464102  3.605551  3.741657
  [15]  3.872983  4.000000  4.123106  4.242641  4.358899  4.472136  4.582576
R 并行编程

future_map 家族

purrr 函数

  • map()
  • map_chr()
  • map_dbl()
  • map_int()
  • map_lgl()

启用 future 的 furrr 函数

  • future_map()
  • future_map_chr()
  • future_map_dbl()
  • future_map_int()
  • future_map_lgl()
R 并行编程

furrr 的优势

  • 给定输入序列 input_list 和要映射的函数 calculate()：
future_list <- lapply(input_list, function (x) future(calculate(x)))

result_list <- value(future_list)

# 将 result_list 进一步处理为数值向量

library(furrr)

# 使用 future_map_dbl() 直接得到数值向量
result_list <- future_map_dbl(input_list, calculate)
R 并行编程

让我们练习！

R 并行编程

Preparing Video For Download...