Отладка в параллельном режиме

Параллельное программирование на R

Nabeel Imam

Data Scientist

Что такое отладка?

Программисты находят ошибку в коде на экране компьютера и пытаются её устранить.

Чтение файлов в параллельном режиме

print(file_list)

 [1] "./stocks/2011.csv"
 [2] "./stocks/2012.csv"
 [3] "./stocks/2013.csv"
 [4] "./stocks/2014.csv"
 [5] "./stocks/2015.csv"
 ...

Функция фильтрации

filterCSV <- function (filepath) {

  # Read CSV
  df <- read.csv(filepath)

  # Filter data
  df <- df %>%
    dplyr::filter(Company == "Tesla")

  # Write to back to same path
  write.csv(df, filepath)
}

Параллельный apply

cl <- makeCluster(4)

clusterEvalQ(cl, library(dplyr))


dummy <- parLapply(cl, file_list, filterCSV)

stopCluster(cl)

Error in checkForRemoteErrors(val) : 
  one node produced an error: ℹ In argument: `Company == "Tesla"`.
Caused by error:
! object 'Company' not found

Последовательный запуск

short_list <- file_list[1:5]


dummy <- lapply(short_list, filterCSV)


read.csv(short_list[1])

         Date  Open  High   Low Close Adj.Close   Volume Company Year
1  2011-01-03 5.368 5.400 5.180 5.324     5.324  6415000   Tesla 2011
2  2011-01-04 5.332 5.390 5.204 5.334     5.334  5937000   Tesla 2011
3  2011-01-05 5.296 5.380 5.238 5.366     5.366  7233500   Tesla 2011
...

Локализация ошибки

Сообщение об ошибке

Error in checkForRemoteErrors(val) : 
  one node produced an error: 
  In argument: `Company == "Tesla"`.
Caused by error:
! object 'Company' not found

Программисты изучают крупный красный восклицательный знак на экране.

Локализация ошибки

filterCSV <- function (filepath) {

  # Read CSV
  df <- read.csv(filepath)

  # Filter data
  df <- df %>%
    dplyr::filter(Company == "Tesla")

  # Write to back to same path
  write.csv(df, filepath)
}

filterCSV_debug <- function (filepath) {

  df <- read.csv(filepath)


  print(

    # Paste file path and column names
    paste(filepath, ":",

          # Collapse column names into one string
          paste0(colnames(df), collapse = ","))

  )


  df <- df %>% 
    dplyr::filter(Company == "Tesla")

  write.csv(df, filepath)
}

Локализация ошибки

cl <- makeCluster(4)
clusterEvalQ(cl, library(dplyr))

dummy <- parLapply(cl, file_list, filterCSV_debug)
stopCluster(cl)

Error in checkForRemoteErrors(val) : 
  one node produced an error: ℹ In argument: `Company == "Microsoft"`.
Caused by error:
! object 'Company' not found

Локализация ошибки

cl <- makeCluster(4, outfile = "log.txt") # Log print messages into "log.txt"

clusterEvalQ(cl, library(dplyr))

parLapply(cl, file_list, filterCSV_debug)
stopCluster(cl)

Error in checkForRemoteErrors(val) : 
  one node produced an error: ℹ In argument: `Company == "Tesla"`.
Caused by error:
! object 'Company' not found

Анализ логов

На экране показаны пути к CSV-файлам и соответствующие названия столбцов. Путь к файлу с данными за 2017 год выделен — в нём отсутствует столбец «Company».

Отладка с foreach

cl <- makeCluster(4,
                  # Supply a text file name to log print messages
                  outfile = "log.txt")

registerDoParallel(cl)

foreach(f = file_list,
        .packages = "dplyr") %dopar% {
  filterCSV_debug(f)
}

stopCluster(cl)

Преимущество furrr

plan(multisession, workers = 4)
future_map(file_list, filterCSV_debug)
plan(sequential)

Преимущество furrr

[1] "./stocks/2011.csv : Date,Open,High,Low,Close,Adj.Close,Volume,Company,Year"
[1] "./stocks/2012.csv : Date,Open,High,Low,Close,Adj.Close,Volume,Company,Year"
[1] "./stocks/2013.csv : Date,Open,High,Low,Close,Adj.Close,Volume,Company,Year"
[1] "./stocks/2014.csv : Date,Open,High,Low,Close,Adj.Close,Volume,Company,Year"
[1] "./stocks/2015.csv : Date,Open,High,Low,Close,Adj.Close,Volume,Company,Year"
[1] "./stocks/2016.csv : Date,Open,High,Low,Close,Adj.Close,Volume,Company,Year"
[1] "./stocks/2017.csv : Date,Open,High,Low,Close,Adj.Close,Volume,Year"
Error in (function (.x, .f, ..., .progress = FALSE)  : 
  ℹ In index: 1.
Caused by error in `dplyr::filter()`:
ℹ In argument: `Company == "Tesla"`.
Caused by error:
! object 'Company' not found

Шаги отладки

При ошибках в параллельном коде

Выполните последовательный запуск на подмножестве входных данных
Изучите сообщение об ошибке и добавьте нужные вызовы вывода
Определите место ошибки с помощью вывода или логирования
Исправьте ошибку

Давайте потренируемся!

Параллельное программирование на R