Premiers pas avec iotools : importation de données

Traitement de données évolutif en R

Simon Urbanek

Member of R-Core, Lead Inventive Scientist, AT&T Labs Research

Traitement par blocs

  1. Charger des segments de données
  2. Les convertir en objets natifs
  3. Calculer et enregistrer les résultats

Répéter 1 à 3 jusqu'à ce que toutes les données soient traitées

Traitement de données évolutif en R

Importer des données

  • Souvent, le chargement prend plus de temps que le traitement, en 2 étapes
    • Récupérer les données depuis le disque est relativement lent
    • Convertir les données brutes en objets R natifs
Traitement de données évolutif en R

Importer des données avec iotools

Dans le paquet iotools, le chargement physique des données et l'analyse de l'entrée en objets R sont séparés pour plus de souplesse et de performance.

Traitement de données évolutif en R

iotools : importation

  • readAsRaw() lit toutes les données dans un vecteur brut
  • read.chunk() lit les données par blocs dans un vecteur brut
Traitement de données évolutif en R

iotools : analyse des données

  • mstrsplit() convertit des données brutes en matrice
  • dstrsplit() convertit des données brutes en trame de données
Traitement de données évolutif en R

iotools : chargement et analyse

read.delim.raw() = readAsRaw() + dstrsplit()

Traitement de données évolutif en R

Traitement par blocs

  • Inutile d'importer toutes les données
  • Lire un « bloc » de lignes à la fois depuis la source
  • Aucune structure intermédiaire
Traitement de données évolutif en R

Connexions de fichiers

# Open a file connection
fc <- file("data-file.csv", "rb")
# Read the first line if the data has a header
readLines(fc, n = 1)
....
# Code to import and parse the data
....
# Close the file connection
close(fc)
Traitement de données évolutif en R

Passons à la pratique !

Traitement de données évolutif en R

Preparing Video For Download...