Interagir avec les remotes DVC

Introduction au versionnage des données avec DVC

Ravi Bhadauria

Machine Learning Engineer

Téléverser et récupérer des données

  • Déplacer des données du cache vers le remote DVC
$ dvc push <target>

$ dvc pull <target>
  • Les cibles sont des fichiers individuels
$ dvc push data.csv
Introduction au versionnage des données avec DVC

Téléverser et récupérer des données

  • Pousser tout le cache
$ dvc push
  • Mettre à jour le cache sans modifier l'espace de travail
$ dvc fetch
  • Remplacer le remote par défaut avec l'option -r
$ dvc push -r aws_remote data.csv
Introduction au versionnage des données avec DVC

Similarités avec Git

dvc pull

  • Fonction : Télécharge les données du remote vers l'espace de travail DVC

  • Cas d'usage : Gros jeux de données ou artefacts de modèles

dvc push

  • Fonction : Téléverse les données vers le stockage distant

  • Cas d'usage : Partager ou archiver des artefacts de données

git pull

  • Fonction : Récupère/fusionne depuis le dépôt Git distant

  • Cas d'usage : Garder la branche locale synchronisée avec le remote

git push

  • Fonction : Envoie les modifications locales vers le remote

  • Cas d'usage : Partager des changements sur le remote Git

Introduction au versionnage des données avec DVC

Gérer les versions des données

  • Les fichiers .dvc sont suivis par Git, pas par DVC

  • Exploitez cela pour restaurer une version précise d'un fichier de données

  • Rétablir le fichier .dvc

$ git checkout <commit_hash|tag|branch>
  • Récupérer les données avec le MD5 indiqué dans le fichier .dvc
$ dvc checkout <target>
Introduction au versionnage des données avec DVC

Suivre les changements de données

  • Modifier le contenu des fichiers, puis ajouter les changements du jeu de données
$ dvc add <target>
  • Valider le fichier .dvc modifié dans Git
$ git add <target>.dvc
$ git commit <target>.dvc \
    -m "Mises à jour du jeu de données"
  • Pousser les métadonnées vers Git
$ git push origin main
  • Téléverser le fichier de données modifié
$ dvc push
Introduction au versionnage des données avec DVC

Passons à la pratique !

Introduction au versionnage des données avec DVC

Preparing Video For Download...