Cache et fichiers de préparation DVC

Introduction au versionnage des données avec DVC

Ravi Bhadauria

Machine Learning Engineer

Cache DVC

  • Stockage caché pour les fichiers suivis et leurs versions
  • Met en attente des fichiers temporaires avant validation
    • À privilégier pour les grands jeux de données et les binaires
  • Se trouve dans le répertoire .dvc de l'espace de travail
    • Configurer l'emplacement
      $ dvc cache dir ~/mycache

Image de la structure DVC dans l'espace de travail

Introduction au versionnage des données avec DVC

Ajout de fichiers au cache

  • Ajouter des fichiers de données à dvc
$ dvc add data.csv

100% Adding...|====================|1/1 [00:00, 53.55file/s]

To track the changes with git, run:
    git add data.csv.dvc
To enable auto staging, run:
    dvc config core.autostage true
Introduction au versionnage des données avec DVC

Fichiers .dvc

  • Chaque fichier suivi par DVC a son fichier .dvc associé

    • data.csv -> data.csv.dvc

  • Pour versionner le fichier de données, utilisez git commit -m "data.csv.dvc"

  • Contenu des fichiers .dvc

outs:

- md5: f38a850818377e97155d22755caa39d0

  size: 16

  hash: md5

  path: data.csv
Introduction au versionnage des données avec DVC

Interaction avec le cache DVC

  • Le chemin du fichier de cache utilise la valeur MD5
$ find .dvc/cache -type f

.dvc/cache/f3/8a850818377e97155d22755caa39d0
  • Calculer le MD5 du jeu de données
$ md5 data.csv

MD5 (data.csv) = f38a850818377e97155d22755caa39d0
Introduction au versionnage des données avec DVC

Interaction avec le cache DVC

  • Utilisez dvc add -v pour un affichage détaillé

Image de la sortie lors de l'exécution de dvc add avec l'option -v

Introduction au versionnage des données avec DVC

Suppression et nettoyage du cache

  • Supprimer des fichiers ajoutés avec dvc remove
$ dvc remove data.csv.dvc
  • Pour purger le cache, utilisez dvc gc
    • Avec l'option -w pour nettoyer le cache de l'espace de travail
$ dvc gc -w

WARNING: This will remove all cache except items used in the workspace of the current repo.
Are you sure you want to proceed? [y/n]: y
Removed 1 objects from repo cache.
Introduction au versionnage des données avec DVC

Récapitulatif

  • Le cache DVC met en attente les fichiers avant validation
  • Configurer l'emplacement du cache
    • dvc cache dir ~/mycache
  • Ajouter des fichiers au cache
    • dvc add data.csv
    • Crée un fichier .dvc avec des métadonnées
  • Supprimer des fichiers ajoutés : dvc remove data.csv.dvc
    • Nettoyer le cache de l'espace de travail avec dvc gc -w
Introduction au versionnage des données avec DVC

Passons à la pratique !

Introduction au versionnage des données avec DVC

Preparing Video For Download...