Cache DVC et fichiers en préparation

Introduction au contrôle de versions des données avec DVC

Ravi Bhadauria

Machine Learning Engineer

Cache DVC

  • Stockage caché pour les fichiers suivis et leurs versions
  • Met en attente des fichiers temporaires avant l'enregistrement
    • À privilégier pour les grands ensembles de données et les fichiers binaires
  • Se trouve dans le répertoire .dvc de l'espace de travail
    • Configurer l'emplacement
      $ dvc cache dir ~/mycache

Image de la structure DVC dans l'espace de travail

Introduction au contrôle de versions des données avec DVC

Ajouter des fichiers au cache

  • Ajouter des fichiers de données à dvc
$ dvc add data.csv

100% Adding...|====================|1/1 [00:00, 53.55file/s]

Pour suivre les changements avec git, exécutez :
    git add data.csv.dvc
Pour activer la mise en attente automatique, exécutez :
    dvc config core.autostage true
Introduction au contrôle de versions des données avec DVC

Fichiers .dvc

  • Chaque fichier suivi par DVC a son fichier .dvc correspondant

    • data.csv -> data.csv.dvc

  • Pour versionner le fichier de données, utilisez git commit -m "data.csv.dvc"

  • Contenu des fichiers .dvc

outs:

- md5: f38a850818377e97155d22755caa39d0

  size: 16

  hash: md5

  path: data.csv
Introduction au contrôle de versions des données avec DVC

Interaction avec le cache DVC

  • Le chemin du fichier de cache utilise la valeur MD5
$ find .dvc/cache -type f

.dvc/cache/f3/8a850818377e97155d22755caa39d0
  • Calculer le MD5 de l'ensemble de données
$ md5 data.csv

MD5 (data.csv) = f38a850818377e97155d22755caa39d0
Introduction au contrôle de versions des données avec DVC

Interaction avec le cache DVC

  • Utilisez dvc add -v pour une sortie détaillée

Image de la sortie lors de l'exécution de dvc add avec l'indicateur -v

Introduction au contrôle de versions des données avec DVC

Retirer et nettoyer le cache

  • Retirez les fichiers ajoutés avec dvc remove
$ dvc remove data.csv.dvc
  • Pour vider le cache, utilisez dvc gc
    • Utilisez l'option -w pour supprimer le cache de l'espace de travail
$ dvc gc -w

WARNING: This will remove all cache except items used in the workspace of the current repo.
Are you sure you want to proceed? [y/n]: y
Removed 1 objects from repo cache.
Introduction au contrôle de versions des données avec DVC

Résumé

  • Le cache DVC met en attente les fichiers avant l'enregistrement
  • Configurer l'emplacement du cache
    • dvc cache dir ~/mycache
  • Ajouter des fichiers au cache
    • dvc add data.csv
    • Crée un fichier .dvc avec des métadonnées
  • Retirer des fichiers ajoutés dvc remove data.csv.dvc
    • Nettoyer le cache de l'espace de travail avec dvc gc -w
Introduction au contrôle de versions des données avec DVC

Passons à la pratique !

Introduction au contrôle de versions des données avec DVC

Preparing Video For Download...