iotools'a ilk bakış: Veri içe aktarma

R'de Ölçeklenebilir Veri İşleme

Simon Urbanek

Member of R-Core, Lead Inventive Scientist, AT&T Labs Research

Parça bazlı işleme

Veri parçalarını yükle
Yerel nesnelere dönüştür
Hesapla ve sonuçları sakla

Tüm veri işlenene kadar 1–3'ü tekrarla

Veri içe aktarma

Çoğu zaman veriyi yüklemek işlemden uzun sürer ve 2 adımda olur
- Diskten veri çekmek görece yavaştır
- Ham veriyi yerel R nesnelerine dönüştürmek

iotools ile veri içe aktarma

iotools paketinde, daha esneklik ve performans için fiziksel veri yükleme ile girdiyi R nesnelerine ayrıştırma işlemleri ayrıdır.

iotools: Veriyi içe aktarma

readAsRaw() tüm veriyi bir raw vektöre okur
read.chunk() veriyi parça parça raw vektöre okur

iotools: Veriyi ayrıştırma

mstrsplit() ham veriyi matrise dönüştürür
dstrsplit() ham veriyi data frame'e dönüştürür

iotools: Veriyi yükleme ve ayrıştırma

read.delim.raw() = readAsRaw() + dstrsplit()

Parça bazlı işleme

Tüm veriyi içe aktarmak şart değil
Kaynaktan her seferinde bir "chunk" satır oku
Ara yapı yok

Dosya bağlantıları

# Bir dosya bağlantısı aç
fc <- file("data-file.csv", "rb")
# Veride başlık varsa ilk satırı oku
readLines(fc, n = 1)
....
# Veriyi içe aktarma ve ayrıştırma kodu
....
# Dosya bağlantısını kapat
close(fc)

Hadi pratik yapalım!

R'de Ölçeklenebilir Veri İşleme

Preparing Video For Download...