Interagir avec les dépôts distants DVC

Introduction au contrôle de versions des données avec DVC

Ravi Bhadauria

Machine Learning Engineer

Téléverser et récupérer des données

  • Déplacer des données du cache vers le dépôt distant DVC
$ dvc push <target>

$ dvc pull <target>
  • Les cibles sont des fichiers individuels
$ dvc push data.csv
Introduction au contrôle de versions des données avec DVC

Téléverser et récupérer des données

  • Pousser tout le cache
$ dvc push
  • Mettre à jour le cache sans modifier l'espace de travail
$ dvc fetch
  • Remplacer le dépôt distant par défaut avec l'option -r
$ dvc push -r aws_remote data.csv
Introduction au contrôle de versions des données avec DVC

Similarités avec Git

dvc pull

  • Fonction : Télécharge les données distantes vers l'espace de travail DVC

  • Cas d'usage : Grands ensembles de données ou artéfacts de modèles

dvc push

  • Fonction : Téléverse les données vers l'entreposage distant

  • Cas d'usage : Partager ou archiver des artéfacts de données

git pull

  • Fonction : Récupère/fusionne depuis le dépôt Git distant

  • Cas d'usage : Garder la branche locale synchronisée avec le distant

git push

  • Fonction : Téléverse les changements locaux vers le distant

  • Cas d'usage : Partager les changements sur le Git distant

Introduction au contrôle de versions des données avec DVC

Gérer les versions des données

  • .dvc est suivi par Git, pas par DVC

  • En tirer parti pour extraire une version précise d'un fichier de données

  • Extraire le fichier .dvc

$ git checkout <commit_hash|tag|branch>
  • Récupérer les données avec le MD5 indiqué dans le fichier .dvc
$ dvc checkout <target>
Introduction au contrôle de versions des données avec DVC

Suivre l'évolution des données

  • Modifier le contenu, puis ajouter les changements de l'ensemble de données
$ dvc add <target>
  • Valider le fichier .dvc modifié dans Git
$ git add <target>.dvc
$ git commit <target>.dvc \
    -m "Dataset updates"
  • Pousser les métadonnées vers Git
$ git push origin main
  • Téléverser le fichier de données modifié
$ dvc push
Introduction au contrôle de versions des données avec DVC

Passons à la pratique !

Introduction au contrôle de versions des données avec DVC

Preparing Video For Download...