Configuration et initialisation de DVC

Introduction au contrôle de versions des données avec DVC

Ravi Bhadauria

Machine Learning Engineer

Installation

  • DVC est un paquet Python
    • Installez-le globalement avec pip 
$ pip install dvc
  • Pensez à l'installer dans des environnements virtuels
  • Assurez-vous que Git est installé
Introduction au contrôle de versions des données avec DVC

Vérifier l'installation

$ dvc version

DVC version: 3.40.1 (pip)

Platform: Python 3.9.16 on macOS-14.2.1-arm64-arm-64bit

Config:
    Global: /Users/<username>/Library/Application Support/dvc
    System: /Library/Application Support/dvc

Repo: dvc, git
1 https://dvc.org/doc/command-reference/version
Introduction au contrôle de versions des données avec DVC

Initialiser DVC

  • Assurez-vous que Git est initialisé
$ git init

Initialized empty Git repository in /path/to/repo/.git/
  • Initialisez DVC dans le dépôt
$ dvc init

Initialized DVC repository.

You can now commit the changes to git.
1 https://dvc.org/doc/command-reference/init
Introduction au contrôle de versions des données avec DVC

Fichiers cachés de DVC

  • L'initialisation crée des fichiers internes à suivre avec Git
$ git status

Changes to be committed:
  (use "git rm --cached <file>..." to unstage)
    new file:   .dvc/.gitignore
    new file:   .dvc/config
    new file:   .dvcignore
  • Validez les changements
$ git commit -m "initialized dvc"
Introduction au contrôle de versions des données avec DVC

Fichier .dvcignore

  • Semblable au fichier .gitignore

    • Suit la même syntaxe
    • Énumère les fichiers/répertoires que DVC doit ignorer

  • Utile quand de nombreux fichiers de données ne sont pas requis

    • Améliore le temps d'exécution des opérations DVC
1 https://dvc.org/doc/user-guide/project-structure/dvcignore-files 2 https://git-scm.com/docs/gitignore
Introduction au contrôle de versions des données avec DVC

Exemple

# .dvcignore
# Ignorer tous les fichiers du répertoire « data »
data/*


# Mais ne pas ignorer « data/data.csv »
!data/data.csv


# Ignorer tous les fichiers .tmp
*.tmp
1 https://dvc.org/doc/user-guide/project-structure/dvcignore-files
Introduction au contrôle de versions des données avec DVC

Vérifier les fichiers ignorés

  • Utilisez la commande dvc check-ignore
$ dvc check-ignore data/file.txt

data/file.txt
  • Utilisez l'option -d pour les détails
$ dvc check-ignore -d data/file.txt

.dvcignore:3:data/*    data/file.txt
1 https://dvc.org/doc/command-reference/check-ignore
Introduction au contrôle de versions des données avec DVC

Résumé

  • Installez DVC avec pip install dvc
  • Vérifiez la version, la plateforme, etc. de DVC
    • dvc version
  • Initialiser DVC dans l'espace de travail
    • dvc init
    • Initialiser Git d'abord
  • Les fichiers .dvcignore servent à exclure des fichiers
    • Semblable à .gitignore, même syntaxe
    • Vérifier si un fichier est exclu
      • dvc check-ignore <filename>
Introduction au contrôle de versions des données avec DVC

Passons à la pratique !

Introduction au contrôle de versions des données avec DVC

Preparing Video For Download...