Ölçeklenebilir Veri İşleme nedir?

R'de Ölçeklenebilir Veri İşleme

Michael J. Kane and Simon Urbanek

Instructors, DataCamp

Bu derste...

Bilgisayarın için fazla büyük verilerle çalış
Ölçeklenebilir kod yaz
Veriyi parçalar halinde içe aktar ve işle

RAM

Tüm R nesneleri RAM'de saklanır

Değişkenler ne kadar büyük olabilir?

"R, bir bilgisayarın RAM'inin %10-20'sinden daha büyük verilerle çalışmaya pek uygun değildir." - R Kurulum ve Yönetim Kılavuzu

Swap verimsizdir

Bilgisayar RAM'i biterse veri diske taşınır
Disk RAM'den çok daha yavaş olduğundan yürütme süresi artar

Ölçeklenebilir çözümler

Bir alt kümesini RAM'e al
Alt kümeyi işle
Sonucu tut ve alt kümeyi at

Kodum neden yavaş?

Hesaplamaların karmaşıklığı
Hızlı, ölçeklenebilir kod için disk işlemlerini dikkatle düşün

Performansı karşılaştırma

library(microbenchmark)

microbenchmark( rnorm(100), rnorm(10000) )

Unit: microseconds
         expr    min      lq     mean  median      uq     max neval
   rnorm(100)   7.84   8.440   9.5459   8.773   9.355   29.56   100
 rnorm(10000) 679.51 683.706 755.5693 690.876 712.416 2949.03   100

Hadi pratik yapalım!

R'de Ölçeklenebilir Veri İşleme

Preparing Video For Download...