DVC – installation och initiering

Introduktion till dataversionshantering med DVC

Ravi Bhadauria

Machine Learning Engineer

Installation

DVC är ett Python-paket
- Installera med pip

$ pip install dvc

Kom ihåg att installera i virtuella miljöer
Kontrollera att Git är installerat

Verifiera installationen

$ dvc version

DVC version: 3.40.1 (pip)

Platform: Python 3.9.16 on macOS-14.2.1-arm64-arm-64bit

Config:
    Global: /Users/<username>/Library/Application Support/dvc
    System: /Library/Application Support/dvc

Repo: dvc, git

¹ https://dvc.org/doc/command-reference/version

Initiera DVC

Kontrollera att Git är initierat

$ git init

Initialized empty Git repository in /path/to/repo/.git/

Initiera DVC i repot

$ dvc init

Initialized DVC repository.

You can now commit the changes to git.

¹ https://dvc.org/doc/command-reference/init

DVC:s dolda filer

Initiering skapar interna filer som bör spåras med Git

$ git status

Changes to be committed:
  (use "git rm --cached <file>..." to unstage)
    new file:   .dvc/.gitignore
    new file:   .dvc/config
    new file:   .dvcignore

Spara ändringarna med en commit

$ git commit -m "initialized dvc"

Filen .dvcignore

Liknar .gitignore
- Följer samma mönster
- Anger filer/kataloger som DVC ska ignorera
Användbart när många datafiler inte behöver spåras
- Förbättrar körtiden för DVC-operationer

¹ https://dvc.org/doc/user-guide/project-structure/dvcignore-files ² https://git-scm.com/docs/gitignore

Exempel

# .dvcignore
# Ignore all files in the 'data' directory
data/*


# But don't ignore 'data/data.csv'
!data/data.csv


# Ignore all .tmp files
*.tmp

¹ https://dvc.org/doc/user-guide/project-structure/dvcignore-files

Kontrollera ignorerade filer

Använd kommandot dvc check-ignore

$ dvc check-ignore data/file.txt

data/file.txt

Använd flaggan -d för mer information

$ dvc check-ignore -d data/file.txt

.dvcignore:3:data/*    data/file.txt

¹ https://dvc.org/doc/command-reference/check-ignore

Sammanfattning

Installera DVC med pip install dvc
Verifiera version, plattform m.m.
- dvc version
Initiera DVC i arbetsytan
- dvc init
- Initiera Git först
.dvcignore används för att ange undantagna filer
- Liknar .gitignore, följer samma syntax
- Kontrollera om en specifik fil är undantagen
  - dvc check-ignore <filename>

Nu kör vi en övning!

Introduktion till dataversionshantering med DVC