Introduction à DVC

Introduction au contrôle de versions des données avec DVC

Ravi Bhadauria

Machine Learning Engineer

Git comme contrôle de versions

  • Système de contrôle de versions du code
  • Développement local autonome
    • Brancher et fusionner
    • Gérer l'historique des versions
  • Favorise la collaboration

Schéma du modèle décentralisé de Git

Introduction au contrôle de versions des données avec DVC

Git comme contrôle de versions

  • Interaction via l'interface CLI
  • S'exécute dans le terminal (ou shell)
  • Git suit le contenu via un dépôt
    • Fichiers/dossiers réels à suivre
    • Métadonnées Git (dans le dossier .git)

Image de la structure d'un dépôt Git

Introduction au contrôle de versions des données avec DVC

Data Version Control (DVC)

  • DVC : outil de contrôle de versions des données
    • Gère les données et les expériences
    • Semblable à Git

Image conceptuelle : versionner des données avec Git et DVC.png

  • Git suit les métadonnées, DVC gère la version des données
Introduction au contrôle de versions des données avec DVC

CLI Git vs DVC

Git

  • Initialiser un dépôt dans le dossier de travail
$ git init
  • Ajouter des fichiers au dépôt (mettre en scène)
$ git add code.py
  • Valider les changements (dans l'historique)
$ git commit -m "adding first file"

DVC

  • Initialiser DVC dans le dossier de travail
$ dvc init
  • Ajouter des fichiers de données à DVC
$ dvc add data/mydata.csv
  • Mettre à jour tous les fichiers de données suivis
$ dvc commit
Introduction au contrôle de versions des données avec DVC

CLI Git vs DVC

Git

  • Envoyer les changements de code vers le serveur distant
$ git push
  • Récupérer les changements du distant
$ git pull
  • Cloner un dépôt existant depuis un distant (GitHub)
$ git clone \
https://github.com/username/repository-name.git

DVC

  • Envoyer les changements de données vers le serveur de données distant
$ dvc push
  • Synchroniser votre projet DVC
$ dvc pull
  • Télécharger un fichier ou répertoire suivi par DVC
$ dvc get \
https://github.com/username/repo-name model.pkl
Introduction au contrôle de versions des données avec DVC

Passons à la pratique !

Introduction au contrôle de versions des données avec DVC

Preparing Video For Download...