En första titt på iotools: Importera data

Skalbar databehandling i R

Simon Urbanek

Member of R-Core, Lead Inventive Scientist, AT&T Labs Research

Chunk-vis bearbetning

  1. Läs in delar av data
  2. Konvertera dem till inbyggda objekt
  3. Utför beräkningar och lagra resultaten

Upprepa steg 1 till 3 tills all data är bearbetad

Skalbar databehandling i R

Importera data

  • Inläsning av data tar ofta längre tid än bearbetning och sker i 2 steg
    • Att hämta data från disk är en relativt långsam åtgärd
    • Att konvertera rådata till inbyggda R-objekt
Skalbar databehandling i R

Importera data med iotools

I iotools-paketet är den fysiska inläsningen av data och parsningen till R-objekt separerade för bättre flexibilitet och prestanda.

Skalbar databehandling i R

iotools: Importera data

  • readAsRaw() läser hela datamängden till en råvektor
  • read.chunk() läser data i delar till en råvektor
Skalbar databehandling i R

iotools: Parsning av data

  • mstrsplit() konverterar rådata till en matris
  • dstrsplit() konverterar rådata till en dataram
Skalbar databehandling i R

iotools: Inläsning och parsning av data

read.delim.raw() = readAsRaw() + dstrsplit()

Skalbar databehandling i R

Chunk-vis bearbetning

  • Det är inte nödvändigt att importera all data
  • Läs en "chunk" med rader i taget från datakällan
  • Ingen mellanliggande struktur
Skalbar databehandling i R

Filanslutningar

# Open a file connection
fc <- file("data-file.csv", "rb")
# Read the first line if the data has a header
readLines(fc, n = 1)
....
# Code to import and parse the data
....
# Close the file connection
close(fc)
Skalbar databehandling i R

Nu kör vi en övning!

Skalbar databehandling i R

Preparing Video For Download...