Introduction à DVC

Introduction au versionnage des données avec DVC

Ravi Bhadauria

Machine Learning Engineer

Git comme gestionnaire de versions

  • Système de gestion de versions du code
  • Développement local indépendant
    • Brancher et fusionner
    • Gérer l'historique des versions
  • Favorise la collaboration

Schéma du modèle décentralisé de Git

Introduction au versionnage des données avec DVC

Git comme gestionnaire de versions

  • Interaction via la CLI
  • Exécution dans le terminal (ou shell)
  • Git suit le contenu via un dépôt
    • Fichiers/dossiers réels à suivre
    • Métadonnées Git (dans le dossier .git)

Image de la structure d'un dépôt Git

Introduction au versionnage des données avec DVC

Data Version Control (DVC)

  • DVC : Data Version Control
    • Gère les données et les expériences
    • Similaire à Git

Image conceptuelle du versionnement des données avec Git et DVC.png

  • Git suit les métadonnées, DVC gère le versionnement des données
Introduction au versionnage des données avec DVC

CLI Git vs DVC

Git

  • Initialiser un dépôt dans le dossier de travail
$ git init
  • Ajouter des fichiers au dépôt (stager les changements)
$ git add code.py
  • Valider les changements (dans l'historique)
$ git commit -m "adding first file"

DVC

  • Initialiser DVC dans le dossier de travail
$ dvc init
  • Ajouter des fichiers de données à DVC
$ dvc add data/mydata.csv
  • Mettre à jour tous les fichiers de données suivis
$ dvc commit
Introduction au versionnage des données avec DVC

CLI Git vs DVC

Git

  • Pousser les changements de code vers le serveur distant
$ git push
  • Récupérer les changements du distant
$ git pull
  • Cloner un dépôt existant depuis le distant (GitHub)
$ git clone \
https://github.com/username/repository-name.git

DVC

  • Pousser les changements de données vers le serveur de données distant
$ dvc push
  • Synchroniser votre projet DVC
$ dvc pull
  • Télécharger un fichier ou un dossier suivi par DVC
$ dvc get \
https://github.com/username/repo-name model.pkl
Introduction au versionnage des données avec DVC

Passons à la pratique !

Introduction au versionnage des données avec DVC

Preparing Video For Download...