Interagir avec les dépôts distants DVC

CI/CD pour le Machine Learning

Ravi Bhadauria

Machine Learning Engineer

Comprendre les dépôts distants DVC

  • Dépôts distants DVC : emplacement de stockage des données
  • Comme les dépôts Git, mais pour les données en cache
  • Atouts des dépôts distants
    • Synchroniser de gros fichiers et dossiers
    • Centraliser ou répartir le stockage
    • Économiser l'espace local
  • Types de stockage pris en charge
    • Amazon S3, GCS, Google Drive
    • SSH, HTTP, systèmes de fichiers locaux
CI/CD pour le Machine Learning

Configurer des dépôts distants

  • Définir des dépôts avec la commande dvc remote add
  • Pour AWS
dvc remote add myAWSremote s3://mybucket
  • Personnaliser avec dvc remote modify
dvc remote modify myAWSremote connect_timeout 300
  • Modification de .dvc/config
 ['remote "myAWSremote"']
     url = s3://mybucket
     connect_timeout = 300
CI/CD pour le Machine Learning

Dépôts locaux et par défaut

  • Les dépôts locaux servent au prototypage rapide
  • Utiliser des répertoires système ou un NAS (Network Attached Storage)
dvc remote add mylocalremote /tmp/dvc
  • Définir le dépôt par défaut avec l'option -d
dvc remote add -d mylocalremote /tmp/dvc
  • Le dépôt par défaut est défini dans la section core de .dvc/config
[core]
remote = mylocalremote
CI/CD pour le Machine Learning

Téléverser et récupérer des données

  • Commandes de transfert de données

    • Envoyer vers le dépôt distant : dvc push <target>
    • Récupérer depuis le dépôt distant : dvc pull <target>

  • Similaires à git push et git pull

    • Les fichiers .dvc sont suivis par Git, pas par DVC
  • La cible peut être un fichier : dvc push data.csv
    • Ou tout le cache : dvc push
  • Outrepasser le dépôt par défaut avec l'option -r
dvc push -r myAWSremote data.csv
CI/CD pour le Machine Learning

Suivre les modifications de données

  • Modifier le contenu des fichiers de données, puis ajouter les changements
dvc add /path/to/data/datafile
  • Commiter le fichier .dvc modifié dans Git
git add /path/to/datafile.dvc
git commit /path/to/datafile.dvc -m "Dataset updates"
  • Pousser les métadonnées vers Git
git push origin main
  • Téléverser le fichier de données modifié
dvc push
CI/CD pour le Machine Learning

Passons à la pratique !

CI/CD pour le Machine Learning

Preparing Video For Download...