Configurarea și inițializarea DVC

Introducere în versionarea datelor cu DVC

Ravi Bhadauria

Machine Learning Engineer

Instalare

  • DVC este un pachet Python
    • Se instalează universal cu pip
$ pip install dvc
  • Instalați în medii virtuale
  • Asigurați-vă că Git este instalat
Introducere în versionarea datelor cu DVC

Verificarea instalării

$ dvc version
DVC version: 3.40.1 (pip)

Platform: Python 3.9.16 on macOS-14.2.1-arm64-arm-64bit
Config: Global: /Users/<username>/Library/Application Support/dvc System: /Library/Application Support/dvc
Repo: dvc, git
1 https://dvc.org/doc/command-reference/version
Introducere în versionarea datelor cu DVC

Inițializarea DVC

  • Asigurați-vă că Git este inițializat
$ git init
Initialized empty Git repository in /path/to/repo/.git/
  • Inițializați DVC în repozitoriu
$ dvc init
Initialized DVC repository.

You can now commit the changes to git.
1 https://dvc.org/doc/command-reference/init
Introducere în versionarea datelor cu DVC

Fișierele ascunse DVC

  • Inițializarea creează fișiere interne ce trebuie urmărite cu Git
$ git status
Changes to be committed:
  (use "git rm --cached <file>..." to unstage)
    new file:   .dvc/.gitignore
    new file:   .dvc/config
    new file:   .dvcignore
  • Confirmați modificările
$ git commit -m "initialized dvc"
Introducere în versionarea datelor cu DVC

Fișierul .dvcignore

  • Similar cu fișierul .gitignore

    • Urmează același model
    • Specifică fișierele/directoarele ignorate de DVC
  • Util când se urmăresc multe fișiere de date inutile

    • Îmbunătățește timpul de execuție al operațiunilor DVC
1 https://dvc.org/doc/user-guide/project-structure/dvcignore-files 2 https://git-scm.com/docs/gitignore
Introducere în versionarea datelor cu DVC

Exemplu

# .dvcignore
# Ignore all files in the 'data' directory
data/*

# But don't ignore 'data/data.csv' !data/data.csv
# Ignore all .tmp files *.tmp
1 https://dvc.org/doc/user-guide/project-structure/dvcignore-files
Introducere în versionarea datelor cu DVC

Verificarea fișierelor ignorate

  • Utilizați comanda dvc check-ignore
$ dvc check-ignore data/file.txt
data/file.txt
  • Utilizați cu indicatorul -d pentru detalii
$ dvc check-ignore -d data/file.txt
.dvcignore:3:data/*    data/file.txt
1 https://dvc.org/doc/command-reference/check-ignore
Introducere în versionarea datelor cu DVC

Rezumat

  • Instalați DVC cu pip install dvc
  • Verificați versiunea, platforma etc.
    • dvc version
  • Inițializați DVC în spațiul de lucru
    • dvc init
    • Inițializați Git mai întâi
  • Fișierele .dvcignore specifică fișierele excluse
    • Similar cu .gitignore, urmează aceeași sintaxă
    • Verificați dacă un fișier este exclus
      • dvc check-ignore <filename>
Introducere în versionarea datelor cu DVC

Să exersăm!

Introducere în versionarea datelor cu DVC

Preparing Video For Download...