Primeiro olhar no iotools: importando dados

Processamento de Dados em Escala no R

Simon Urbanek

Member of R-Core, Lead Inventive Scientist, AT&T Labs Research

Processamento em blocos

  1. Carregar partes dos dados
  2. Converter em objetos nativos
  3. Calcular e salvar os resultados

Repita de 1 a 3 até processar todos os dados

Processamento de Dados em Escala no R

Importando dados

  • Geralmente, carregar dados leva mais tempo que processar, e ocorre em 2 etapas
    • Buscar dados no disco é relativamente lento
    • Converter dados brutos em objetos nativos do R
Processamento de Dados em Escala no R

Importando dados com iotools

No pacote iotools, o carregamento físico dos dados e o parsing para objetos R são separados para dar mais flexibilidade e desempenho.

Processamento de Dados em Escala no R

iotools: importação de dados

  • readAsRaw() lê todos os dados em um vetor raw
  • read.chunk() lê os dados em blocos em um vetor raw
Processamento de Dados em Escala no R

iotools: parsing de dados

  • mstrsplit() converte dados brutos em uma matriz
  • dstrsplit() converte dados brutos em um data frame
Processamento de Dados em Escala no R

iotools: carregando e fazendo parsing

read.delim.raw() = readAsRaw() + dstrsplit()

Processamento de Dados em Escala no R

Processamento em blocos

  • Não é preciso importar todos os dados
  • Leia um "bloco" de linhas por vez da fonte de dados
  • Sem estrutura intermediária
Processamento de Dados em Escala no R

Conexões de arquivo

# Open a file connection
fc <- file("data-file.csv", "rb")
# Read the first line if the data has a header
readLines(fc, n = 1)
....
# Code to import and parse the data
....
# Close the file connection
close(fc)
Processamento de Dados em Escala no R

Vamos praticar!

Processamento de Dados em Escala no R

Preparing Video For Download...