Configurer les remotes DVC

Introduction au versionnage des données avec DVC

Ravi Bhadauria

Machine Learning Engineer

Récapitulatif

  • Initialiser le dépôt DVC
    • Exécutez dvc init
    • Dépôt dans l'espace de travail (/path/to/my-project)
  • Configurer le cache DVC
    • Zone de transit temporaire dans le répertoire .dvc
      • /path/to/my-project/.dvc/cache
    • Mettre en scène des fichiers temporaires avec dvc add
  • Maintenant : remotes DVC
    • Stockage externe
    • Suivre et partager des ressources
Introduction au versionnage des données avec DVC

Pourquoi des remotes DVC ?

  • Remotes DVC : emplacement de stockage des données
  • Similaires aux remotes Git, mais pour les données en cache
  • Atouts des remotes
    • Synchroniser de gros fichiers et répertoires
    • Centraliser ou répartir le stockage
    • Économiser l'espace local

Schéma du flux de données de l'espace de travail DVC vers le cache et le remote

Introduction au versionnage des données avec DVC

Types de stockage pris en charge

Graphique des types de stockage pris en charge par DVC

Introduction au versionnage des données avec DVC

Configurer des remotes

  • Définir des remotes

    • dvc remote add <name> <location>

  • Bucket S3

$ dvc remote add s3_remote \
   s3://mys3bucket
  • Modifications de la config DVC
 ['remote "s3_remote"']
     url = s3://mys3bucket
  • Bucket GCP
$ dvc remote add gcp_remote \
   gs://myGCPbucket
  • Azure
$ dvc remote add azure_remote \
   azure://mycontainer/path
Introduction au versionnage des données avec DVC

Remotes locaux

  • Les remotes locaux servent au prototypage rapide
  • Utilisez des répertoires système ou un stockage NAS
$ dvc remote add mylocalremote /tmp/dvc
  • Définir un remote par défaut avec l'option -d
$ dvc remote add -d mylocalremote /tmp/dvc
  • Le remote par défaut est défini dans la section core de .dvc/config
[core]
remote = mylocalremote
Introduction au versionnage des données avec DVC

Lister les remotes

  • Lister les remotes
$ dvc remote list

s3_remote    s3://mys3bucket
local_remote /tmp/dvcremote
  • Lecture depuis .dvc/config
 ['remote "s3_remote"']
     url = s3://mys3bucket
 ['remote "local_remote"']
     url = /tmp/dvcremote
Introduction au versionnage des données avec DVC

Modifier la configuration d'un remote

  • Personnaliser avec dvc remote modify
$ dvc remote modify s3_remote connect_timeout 300
  • Changement dans le fichier de config DVC
 ['remote "s3_remote"']
     url = s3://mys3bucket
     connect_timeout = 300
Introduction au versionnage des données avec DVC

En résumé

  • Les remotes DVC servent à partager des données et des modèles ML
  • De nombreux stockages locaux et cloud sont pris en charge
  • Ajouter des remotes : dvc remote add
    • Utilisez -d pour définir le remote par défaut
  • Lister les remotes : dvc remote list
  • Modifier les remotes : dvc remote modify
Introduction au versionnage des données avec DVC

Passons à la pratique !

Introduction au versionnage des données avec DVC

Preparing Video For Download...