Parabéns!

Processamento de Dados em Escala no R

Michael J. Kane and Simon Urbanek

Instructors, DataCamp

Split-Apply-Combine

  • Divida os dados em partes
  • Calcule em cada parte
  • Combine os resultados
Processamento de Dados em Escala no R

Split-Apply-Combine: Vantagens

  • Partes manejáveis não sobrecarregam seu computador
  • Fácil de paralelizar
  • Processar sequencialmente
  • Processar em várias máquinas em um cluster
Processamento de Dados em Escala no R

Split-Apply-Combine: R

  • split() particiona o conjunto de números de linha ou data.frame

  • Map() calcula nas partes

  • Reduce() combina os resultados

Processamento de Dados em Escala no R

bigmemory

bigmemory

  • Bom para conjuntos de dados maiores representáveis como matrizes densas e que podem ser grandes demais para a RAM
  • Parece uma matriz R comum
Processamento de Dados em Escala no R

iotools

iotools

  • Bom para dados bem maiores processados em blocos sequenciais
  • Suporta data.frame e matrix
Processamento de Dados em Escala no R

Processamento de Dados em Escala no R

Boa sorte!

Processamento de Dados em Escala no R

Preparing Video For Download...