Configurer les dépôts distants DVC

Introduction au contrôle de versions des données avec DVC

Ravi Bhadauria

Machine Learning Engineer

Récapitulatif

  • Initialiser le dépôt DVC
    • Exécuter dvc init
    • Dépôt dans l'espace de travail (/path/to/my-project)
  • Configurer le cache DVC
    • Zone d'attente temporaire dans le répertoire .dvc
      • /path/to/my-project/.dvc/cache
    • Mettre en attente des fichiers avec dvc add
  • Maintenant : dépôts distants DVC
    • Stockage externe
    • Suivre et partager des ressources
Introduction au contrôle de versions des données avec DVC

Pourquoi des dépôts distants DVC ?

  • Dépôts distants DVC : emplacement de stockage des données
  • Semblables aux dépôts distants Git, mais pour les données en cache
  • Avantages des dépôts distants
    • Synchroniser de gros fichiers et répertoires
    • Centraliser ou distribuer le stockage
    • Économiser l'espace local

Schéma du flux de données entre l'espace de travail DVC, le cache et le dépôt distant

Introduction au contrôle de versions des données avec DVC

Types de stockage pris en charge

Graphique des types de stockage pris en charge par DVC

Introduction au contrôle de versions des données avec DVC

Configuration des dépôts distants

  • Configurer des dépôts distants

    • dvc remote add <name> <location>

  • Compartiment S3

$ dvc remote add s3_remote \
   s3://mys3bucket
  • Modifications de la config DVC
 ['remote "s3_remote"']
     url = s3://mys3bucket
  • Compartiment GCP
$ dvc remote add gcp_remote \
   gs://myGCPbucket
  • Azure
$ dvc remote add azure_remote \
   azure://mycontainer/path
Introduction au contrôle de versions des données avec DVC

Dépôts distants locaux

  • Les dépôts distants locaux servent au prototypage rapide
  • Utiliser des répertoires système ou du stockage en réseau (NAS)
$ dvc remote add mylocalremote /tmp/dvc
  • Définir un dépôt distant par défaut avec l'indicateur -d
$ dvc remote add -d mylocalremote /tmp/dvc
  • Le dépôt distant par défaut est défini dans la section core de .dvc/config
[core]
remote = mylocalremote
Introduction au contrôle de versions des données avec DVC

Lister les dépôts distants

  • Lister les dépôts distants
$ dvc remote list

s3_remote    s3://mys3bucket
local_remote /tmp/dvcremote
  • Lecture à partir de .dvc/config
 ['remote "s3_remote"']
     url = s3://mys3bucket
 ['remote "local_remote"']
     url = /tmp/dvcremote
Introduction au contrôle de versions des données avec DVC

Modifier la configuration d'un dépôt distant

  • Personnaliser avec dvc remote modify
$ dvc remote modify s3_remote connect_timeout 300
  • Modification du fichier de configuration DVC
 ['remote "s3_remote"']
     url = s3://mys3bucket
     connect_timeout = 300
Introduction au contrôle de versions des données avec DVC

Sommaire

  • Les dépôts distants DVC servent à partager des données et des modèles de Machine Learning
  • Divers emplacements locaux et infonuagiques sont pris en charge
  • Ajouter : dvc remote add
    • Utiliser l'indicateur -d pour définir le dépôt par défaut
  • Lister : dvc remote list
  • Modifier : dvc remote modify
Introduction au contrôle de versions des données avec DVC

Passons à la pratique !

Introduction au contrôle de versions des données avec DVC

Preparing Video For Download...