Qu'est-ce que le traitement de données évolutif ?

Traitement de données évolutif en R

Michael J. Kane and Simon Urbanek

Instructors, DataCamp

Dans ce cours…

  • Travailler avec des données trop volumineuses pour votre ordinateur
  • Écrire du code évolutif
  • Importer et traiter les données par blocs
Traitement de données évolutif en R

RAM

Tous les objets R sont stockés en RAM

Traitement de données évolutif en R

Traitement de données évolutif en R

Quelle taille pour les variables ?

« R convient mal aux données dépassant 10–20 % de la RAM d'un ordinateur. » – R Installation and Administration Manual

Traitement de données évolutif en R

L'échange mémoire est inefficace

  • Si l'ordinateur manque de RAM, les données passent sur le disque
  • Le disque étant beaucoup plus lent, le temps d'exécution augmente
Traitement de données évolutif en R

Solutions évolutives

  • Charger un sous-ensemble en RAM
  • Traiter le sous-ensemble
  • Garder le résultat et jeter le sous-ensemble
Traitement de données évolutif en R

Pourquoi mon code est-il lent ?

  • Complexité des calculs

  • Soigner les opérations disque pour un code rapide et évolutif

Traitement de données évolutif en R

Évaluer la performance

library(microbenchmark)

microbenchmark( rnorm(100), rnorm(10000) )

Unit: microseconds
         expr    min      lq     mean  median      uq     max neval
   rnorm(100)   7.84   8.440   9.5459   8.773   9.355   29.56   100
 rnorm(10000) 679.51 683.706 755.5693 690.876 712.416 2949.03   100
Traitement de données évolutif en R

Passons à la pratique !

Traitement de données évolutif en R

Preparing Video For Download...