Limites de bigmemory

Traitement de données évolutif en R

Michael Kane

Assistant Professor, Yale University

Où utiliser bigmemory ?

  • Vous pouvez utiliser bigmemory lorsque vos données sont
    • des matrices
    • denses
    • numériques
  • Les structures de données sous-jacentes sont compatibles avec des bibliothèques d'algèbre linéaire de bas niveau pour un ajustement de modèle rapide
  • Si vous avez différents types de colonnes, essayez le paquet ff
Traitement de données évolutif en R

Comprendre l'accès au disque

Une big.matrix est une structure de données conçue pour l'accès aléatoire

Traitement de données évolutif en R

Inconvénients de l'accès aléatoire

  • Impossible d'ajouter des lignes ou des colonnes à un objet big.matrix existant
  • Vous devez avoir assez d'espace disque pour contenir toute la matrice en un seul grand bloc
Traitement de données évolutif en R

Passons à la pratique !

Traitement de données évolutif en R

Preparing Video For Download...