Complimenti!

Elaborazione scalabile dei dati in R

Michael J. Kane and Simon Urbanek

Instructors, DataCamp

Split-Apply-Combine

  • Dividi i dati in parti
  • Calcola sulle parti
  • Combina i risultati
Elaborazione scalabile dei dati in R

Split-Apply-Combine: Vantaggi

  • Parti gestibili non sovraccaricano il computer
  • Facile da parallelizzare
  • Elabora in sequenza
  • Elabora su più macchine in un cluster
Elaborazione scalabile dei dati in R

Split-Apply-Combine: R

  • split() partiziona un insieme di numeri di riga o un data.frame

  • Map() calcola sulle parti

  • Reduce() combina i risultati

Elaborazione scalabile dei dati in R

bigmemory

bigmemory

  • Ottimo per insiemi di dati grandi rappresentabili come matrici dense e forse troppo grandi per la RAM
  • Sembra una normale matrice R
Elaborazione scalabile dei dati in R

iotools

iotools

  • Ottimo per dati molto più grandi elaborabili in blocchi sequenziali
  • Supporta data.frame e matrix
Elaborazione scalabile dei dati in R

Elaborazione scalabile dei dati in R

In bocca al lupo!

Elaborazione scalabile dei dati in R

Preparing Video For Download...