Nastavení a inicializace DVC

Úvod do verzování dat s DVC

Ravi Bhadauria

Machine Learning Engineer

Instalace

  • DVC je balíček Pythonu
    • Instalace pomocí pip
$ pip install dvc
  • Instalujte do virtuálních prostředí
  • Ujistěte se, že je nainstalován Git
Úvod do verzování dat s DVC

Ověření instalace

$ dvc version

DVC version: 3.40.1 (pip)

Platform: Python 3.9.16 on macOS-14.2.1-arm64-arm-64bit

Config:
    Global: /Users/<username>/Library/Application Support/dvc
    System: /Library/Application Support/dvc

Repo: dvc, git
1 https://dvc.org/doc/command-reference/version
Úvod do verzování dat s DVC

Inicializace DVC

  • Ujistěte se, že je inicializován Git
$ git init

Initialized empty Git repository in /path/to/repo/.git/
  • Inicializujte DVC v repozitáři
$ dvc init

Initialized DVC repository.

You can now commit the changes to git.
1 https://dvc.org/doc/command-reference/init
Úvod do verzování dat s DVC

Skryté soubory DVC

  • Inicializace vytvoří interní soubory, které je třeba sledovat v Gitu
$ git status

Changes to be committed:
  (use "git rm --cached <file>..." to unstage)
    new file:   .dvc/.gitignore
    new file:   .dvc/config
    new file:   .dvcignore
  • Potvrďte změny
$ git commit -m "initialized dvc"
Úvod do verzování dat s DVC

Soubor .dvcignore

  • Podobný souboru .gitignore

    • Sleduje stejné vzory
    • Určuje soubory/adresáře ignorované DVC

  • Vhodný při sledování mnoha nepotřebných datových souborů

    • Zlepšuje rychlost operací DVC
1 https://dvc.org/doc/user-guide/project-structure/dvcignore-files 2 https://git-scm.com/docs/gitignore
Úvod do verzování dat s DVC

Příklad

# .dvcignore
# Ignore all files in the 'data' directory
data/*


# But don't ignore 'data/data.csv'
!data/data.csv


# Ignore all .tmp files
*.tmp
1 https://dvc.org/doc/user-guide/project-structure/dvcignore-files
Úvod do verzování dat s DVC

Kontrola ignorovaných souborů

  • Použijte příkaz dvc check-ignore
$ dvc check-ignore data/file.txt

data/file.txt
  • S příznakem -d zobrazíte podrobnosti
$ dvc check-ignore -d data/file.txt

.dvcignore:3:data/*    data/file.txt
1 https://dvc.org/doc/command-reference/check-ignore
Úvod do verzování dat s DVC

Shrnutí

  • Instalace DVC pomocí pip install dvc
  • Ověření verze, platformy apod.
    • dvc version
  • Inicializace DVC v pracovním prostoru
    • dvc init
    • Nejprve inicializujte Git
  • Soubory .dvcignore slouží k vyloučení souborů
    • Podobné .gitignore, stejná syntaxe
    • Kontrola vyloučení konkrétního souboru
      • dvc check-ignore <filename>
Úvod do verzování dat s DVC

Pojďme si procvičit!

Úvod do verzování dat s DVC

Preparing Video For Download...