Versionner les jeux de données avec Data Version Control

CI/CD pour le Machine Learning

Ravi Bhadauria

Machine Learning Engineer

Pourquoi le versionnement des données compte

  • Le versionnement garde l'historique des changements de données
  • Le versionnement des données est essentiel
    • Reproductibilité
    • Expérimentation et itération
    • Collaboration
    • Suivi et correction de bogues
    • Supervision et maintenance des modèles
    • Audit et validation
CI/CD pour le Machine Learning

Data Version Control (DVC)

  • DVC : outil Data Version Control
    • Gère les données et les expériences
    • Similaire à Git

Image conceptuelle du versionnement des données avec Git et DVC.png

  • Git suit les métadonnées, DVC gère le versionnement des données
CI/CD pour le Machine Learning

Stockage DVC

  • Données stockées séparément
    • SSH, HTTP/HTTPS, système de fichiers local
    • Stockage objet AWS, GCP et Azure
  • Installation locale
pip install dvc
CI/CD pour le Machine Learning

Initialiser DVC

  • Initialiser Git : git init
  • Initialiser DVC
-> dvc init
Initialized DVC repository.
You can now commit the changes to git.
  • Configure les fichiers du projet DVC, prêt à versionner les données
.dvc
|- .gitignore
|- config
|- tmp
CI/CD pour le Machine Learning

Ajouter des fichiers à DVC

  • Ajoutez des fichiers avec la commande dvc add <file>
-> dvc add data.csv
  • Des fichiers « .espace réservé » .dvc contenant les métadonnées sont générés
    • Chaque fichier suivi par DVC a son .dvc correspondant (data.csv -> data.csv.dvc)
    • Intégrés dans Git pour gérer les versions de données
  • Le cache DVC est rempli dans .dvc/cache
CI/CD pour le Machine Learning

Fichiers de données DVC

  • Fichier de données
-> cat data.csv
This is a sample data file.
  • Fichier data.csv.dvc
-> cat data.csv.dvc
 outs:
 - md5: ea9972ac9f8fa321ea74969e93acc196

   size: 28

   hash: md5

   path: data.csv
CI/CD pour le Machine Learning

Récapitulatif

  • Le versionnement des données assure reproductibilité et collaboration
  • DVC : outil de gestion du versionnement des données, fonctionne avec Git
  • Initialisez DVC avec dvc init, ajoutez des fichiers avec dvc add <file>
  • Les fichiers .dvc stockent les métadonnées, Git suit les versions
CI/CD pour le Machine Learning

Passons à la pratique !

CI/CD pour le Machine Learning

Preparing Video For Download...