Gérer les versions des ensembles de données avec Data Version Control

CI/CD pour le Machine Learning

Ravi Bhadauria

Machine Learning Engineer

Pourquoi versionner les données

  • La gestion des versions crée un historique des changements de données
  • Le versionnage des données est essentiel
    • Reproductibilité
    • Expérimentation et itération
    • Collaboration
    • Suivi et correction de bogues
    • Surveillance et maintenance des modèles
    • Audit et validation
CI/CD pour le Machine Learning

Data Version Control (DVC)

  • DVC : outil de Data Version Control
    • Gère les données et les expériences
    • Semblable à Git

Image conceptuelle du versionnage des données avec Git et DVC.png

  • Git suit les métadonnées, DVC gère le versionnage des données
CI/CD pour le Machine Learning

Stockage DVC

  • Données stockées séparément
    • SSH, HTTP/HTTPS, système de fichiers local
    • Stockage objet AWS, GCP et Azure
  • Installation locale
pip install dvc
CI/CD pour le Machine Learning

Initialiser DVC

  • Initialiser Git git init
  • Initialiser DVC
-> dvc init
Initialized DVC repository.
You can now commit the changes to git.
  • Configure les fichiers du projet DVC, prêt pour le versionnage des données
.dvc
|- .gitignore
|- config
|- tmp
CI/CD pour le Machine Learning

Ajouter des fichiers à DVC

  • Ajouter des fichiers de données avec la commande dvc add <file>
-> dvc add data.csv
  • Des fichiers d'appoint .dvc contenant les métadonnées sont générés
    • Chaque fichier suivi par DVC a son fichier .dvc correspondant (data.csv -> data.csv.dvc)
    • Enregistrés dans Git pour gérer les versions des données
  • Le cache DVC est rempli dans .dvc/cache
CI/CD pour le Machine Learning

Fichiers de données DVC

  • Fichier de données
-> cat data.csv
This is a sample data file.
  • Fichier data.csv.dvc
-> cat data.csv.dvc
 outs:
 - md5: ea9972ac9f8fa321ea74969e93acc196

   size: 28

   hash: md5

   path: data.csv
CI/CD pour le Machine Learning

Résumé

  • Le versionnage des données assure reproductibilité et collaboration
  • DVC : outil pour gérer le versionnage des données, fonctionne avec Git
  • Initialisez DVC avec dvc init, ajoutez des fichiers avec dvc add <file>
  • Les fichiers .dvc stockent les métadonnées, Git suit les versions
CI/CD pour le Machine Learning

Passons à la pratique !

CI/CD pour le Machine Learning

Preparing Video For Download...