레벨 업

R에서 sparklyr로 시작하는 Spark

Richie Cotton

Data Evangelist at DataCamp

abba <- data_frame(
  agnetha   = 1:3,
  benny     = pi ^ c(1, 4, 9),
  bjorn     = month.name[1:3],
  anni_frid = c(TRUE, FALSE, TRUE)
)
abba %>% 
  select(starts_with("a"))

# A tibble: 3 x 2
  agnetha anni_frid
    <int>     <lgl>
1       1      TRUE
2       2     FALSE
3       3      TRUE

컴퓨팅과 데이터 수집

intermediate_data <- initial_data %>% 
  # some calculations
  compute("an_intermediate_result") 

results <- intermediate_data %>% 
  # some more calculations
  collect()

SQL 및 데이터베이스 조인

sql_query <- "SELECT agnetha, bjorn FROM abba where anni_frid"
results <- dbGetQuery(spark_conn, sql_query)

  agnetha   bjorn
1       1 January
2       3   March

연습해 봅시다!

R에서 sparklyr로 시작하는 Spark