Giriş

R'de Ölçeklenebilir Veri İşleme

Simon Urbanek

Member of R-Core, Lead Inventive Scientist, AT&T Labs Research

bigmemory

Tüm veri tek bir diskte tutulmalı
Veri bir matris olarak temsil edilmeli

iotools

Veri birden çok türde olabilir - ör. data frame'ler
Birden çok makineye dağıtılır
Veriyi "parçalara" ayırarak işler

Her seferinde bir parçayı sırayla işle

Parça boyutunu kontrol ederek kaynak kullanımını sınırlar
Sonuçların devredilmesine izin verir

Her parçayı bağımsız işle

Split-compute-combine ile örtüşür
Parçalar arasında bilgi paylaşılamaz
Paralel ve dağıtık işlemeye izin verir

Daha Karmaşık İşlemler için Map ve Reduce

# Rastgele bir vektör oluştur
x <- rnorm(100)
# Ortalamayı bul
mean(x)

-0.01996644

# Vektörün parçalarının
# toplamını al
sl <- Map(function(v) {
         c(sum(v), length(v))}, 
  list(x[1:25], x[26:100]))

# Toplamları ve uzunlukları topla
slr <- Reduce(`+`, sl)
# Ortalamayı bul
slr[1]/slr[2]

-0.01996644

Her şey Split-Apply-Combine'a uymaz

Tüm veriyi aynı anda gerektiren işlemler, Split-Apply-Combine ile hesaplanamaz.

Örnek: Medyan

Yine de ..

Birçok regresyon yordamı split-apply-combine olarak yazılabilir

Hadi pratik yapalım!

R'de Ölçeklenebilir Veri İşleme