Première découverte d'iotools : importer des données

Traitement de données à grande échelle en R

Simon Urbanek

Member of R-Core, Lead Inventive Scientist, AT&T Labs Research

Traitement par blocs

Charger des blocs de données
Les convertir en objets natifs
Calculer et stocker les résultats

Répéter 1 à 3 jusqu'à traitement complet des données

Importer des données

Souvent, charger les données prend plus de temps que les traiter, en 2 étapes :
- Récupérer les données depuis le disque est relativement lent
- Convertir les données brutes en objets R natifs

Importer des données avec iotools

Dans le package iotools, le chargement physique des données et l'analyse de l'entrée en objets R sont séparés pour plus de souplesse et de performance.

iotools : importer des données

readAsRaw() lit toutes les données dans un vecteur brut
read.chunk() lit les données par blocs dans un vecteur brut

iotools : analyser les données

mstrsplit() convertit des données brutes en matrice
dstrsplit() convertit des données brutes en data frame

iotools : charger et analyser

read.delim.raw() = readAsRaw() + dstrsplit()

Traitement par blocs

Inutile d'importer toutes les données
Lire un « bloc » de lignes à la fois depuis la source
Aucune structure intermédiaire

Connexions de fichiers

# Ouvrir une connexion fichier
fc <- file("data-file.csv", "rb")
# Lire la première ligne si les données ont un en-tête
readLines(fc, n = 1)
....
# Code pour importer et analyser les données
....
# Fermer la connexion fichier
close(fc)

Passons à la pratique !

Traitement de données à grande échelle en R

Preparing Video For Download...