Félicitations !

Traitement de données évolutif en R

Michael J. Kane and Simon Urbanek

Instructors, DataCamp

Fractionner–Appliquer–Combiner

  • Fractionner les données
  • Calculer sur chaque partie
  • Combiner les résultats
Traitement de données évolutif en R

Fractionner–Appliquer–Combiner : avantages

  • Des parties gérables n'ennuient pas votre ordinateur
  • Approche facile à paralléliser
  • Traitement séquentiel
  • Traitement sur plusieurs machines d'un grappe
Traitement de données évolutif en R

Fractionner–Appliquer–Combiner : R

  • split() partitionne un ensemble de numéros de lignes ou un data.frame

  • Map() calcule sur les parties

  • Reduce() combine les résultats

Traitement de données évolutif en R

bigmemory

bigmemory

  • Idéal pour de grands ensembles représentables en matrices denses et trop volumineux pour la RAM
  • Semble une matrice R ordinaire
Traitement de données évolutif en R

iotools

iotools

  • Idéal pour des données beaucoup plus grandes traitées en blocs séquentiels
  • Prend en charge data.frame et matrix
Traitement de données évolutif en R

Traitement de données évolutif en R

Bonne chance !

Traitement de données évolutif en R

Preparing Video For Download...