Interagir avec les dépôts distants DVC

CI/CD pour le Machine Learning

Ravi Bhadauria

Machine Learning Engineer

Comprendre les dépôts distants DVC

  • Dépôts distants DVC : emplacements de stockage des données
  • Semblables aux dépôts Git, mais pour les données en cache
  • Avantages des dépôts distants
    • Synchroniser de gros fichiers et répertoires
    • Centraliser ou répartir le stockage
    • Économiser de l'espace local
  • Types de stockage pris en charge
    • Amazon S3, GCS, Google Drive
    • SSH, HTTP, systèmes de fichiers locaux
CI/CD pour le Machine Learning

Configurer les dépôts distants

  • Configurer avec la commande dvc remote add
  • Pour AWS
dvc remote add myAWSremote s3://mybucket
  • Personnaliser avec dvc remote modify
dvc remote modify myAWSremote connect_timeout 300
  • Modification de .dvc/config
 ['remote "myAWSremote"']
     url = s3://mybucket
     connect_timeout = 300
CI/CD pour le Machine Learning

Dépôts locaux et par défaut

  • Les dépôts locaux servent au prototypage rapide
  • Utiliser des répertoires système ou un NAS (Network Attached Storage)
dvc remote add mylocalremote /tmp/dvc
  • Définir un dépôt distant par défaut avec l'option -d
dvc remote add -d mylocalremote /tmp/dvc
  • Le dépôt par défaut est défini dans la section core de .dvc/config
[core]
remote = mylocalremote
CI/CD pour le Machine Learning

Téléverser et récupérer des données

  • Commandes de transfert de données

    • Envoyer vers le dépôt : dvc push <target>
    • Récupérer depuis le dépôt : dvc pull <target>

  • Similaires à git push et git pull

    • Les fichiers .dvc sont suivis par Git, pas par DVC
  • Cible possible : un fichier dvc push data.csv
    • Ou tout le cache dvc push
  • Outrepasser le dépôt par défaut avec l'option -r
dvc push -r myAWSremote data.csv
CI/CD pour le Machine Learning

Suivre les modifications des données

  • Modifier le contenu du fichier de données, puis ajouter les changements
dvc add /path/to/data/datafile
  • Valider le fichier .dvc modifié dans Git
git add /path/to/datafile.dvc
git commit /path/to/datafile.dvc -m "Dataset updates"
  • Pousser les métadonnées vers Git
git push origin main
  • Téléverser le fichier de données modifié
dvc push
CI/CD pour le Machine Learning

Passons à la pratique !

CI/CD pour le Machine Learning

Preparing Video For Download...