Tebrikler!

R'de Ölçeklenebilir Veri İşleme

Michael J. Kane and Simon Urbanek

Instructors, DataCamp

Split-Apply-Combine

  • Veriyi parçalara ayır
  • Parçalarda hesapla
  • Sonuçları birleştir
R'de Ölçeklenebilir Veri İşleme

Split-Apply-Combine: Avantajlar

  • Yönetilebilir parçalar bilgisayarını bunaltmaz
  • Yaklaşım paralelleştirmeye uygundur
  • Ardışık işleyebilirsin
  • Kümedeki birden çok makinede işleyebilirsin
R'de Ölçeklenebilir Veri İşleme

Split-Apply-Combine: R

  • split() satır numaraları kümesini veya data.frame'i bölümlendirir

  • Map() parçalarda hesaplar

  • Reduce() sonuçları birleştirir

R'de Ölçeklenebilir Veri İşleme

bigmemory

bigmemory

  • Yoğun matris olarak temsil edilebilen ve RAM için fazla büyük olabilecek daha büyük veri setleri için iyidir
  • Normal bir R matrisi gibi görünür
R'de Ölçeklenebilir Veri İşleme

iotools

iotools

  • Sıralı parçalar halinde işlenebilen çok daha büyük veriler için uygundur
  • data.frame ve matrix destekler
R'de Ölçeklenebilir Veri İşleme

R'de Ölçeklenebilir Veri İşleme

Bol şans!

R'de Ölçeklenebilir Veri İşleme

Preparing Video For Download...