Konfiguracja i inicjalizacja DVC

Wprowadzenie do wersjonowania danych z DVC

Ravi Bhadauria

Machine Learning Engineer

Instalacja

  • DVC to pakiet Pythona
    • Instalacja za pomocą pip
$ pip install dvc
  • Zalecana instalacja w środowiskach wirtualnych
  • Upewnij się, że Git jest zainstalowany
Wprowadzenie do wersjonowania danych z DVC

Weryfikacja instalacji

$ dvc version

DVC version: 3.40.1 (pip)

Platform: Python 3.9.16 on macOS-14.2.1-arm64-arm-64bit

Config:
    Global: /Users/<username>/Library/Application Support/dvc
    System: /Library/Application Support/dvc

Repo: dvc, git
1 https://dvc.org/doc/command-reference/version
Wprowadzenie do wersjonowania danych z DVC

Inicjalizacja DVC

  • Upewnij się, że Git jest zainicjalizowany
$ git init

Initialized empty Git repository in /path/to/repo/.git/
  • Zainicjalizuj DVC w repozytorium
$ dvc init

Initialized DVC repository.

You can now commit the changes to git.
1 https://dvc.org/doc/command-reference/init
Wprowadzenie do wersjonowania danych z DVC

Ukryte pliki DVC

  • Inicjalizacja tworzy pliki wewnętrzne, które należy śledzić w Git
$ git status

Changes to be committed:
  (use "git rm --cached <file>..." to unstage)
    new file:   .dvc/.gitignore
    new file:   .dvc/config
    new file:   .dvcignore
  • Zatwierdź zmiany
$ git commit -m "initialized dvc"
Wprowadzenie do wersjonowania danych z DVC

Plik .dvcignore

  • Podobny do pliku .gitignore

    • Stosuje te same wzorce
    • Określa pliki/katalogi ignorowane przez DVC

  • Przydatny przy śledzeniu wielu niepotrzebnych plików danych

    • Skraca czas wykonywania operacji DVC
1 https://dvc.org/doc/user-guide/project-structure/dvcignore-files 2 https://git-scm.com/docs/gitignore
Wprowadzenie do wersjonowania danych z DVC

Przykład

# .dvcignore
# Ignore all files in the 'data' directory
data/*


# But don't ignore 'data/data.csv'
!data/data.csv


# Ignore all .tmp files
*.tmp
1 https://dvc.org/doc/user-guide/project-structure/dvcignore-files
Wprowadzenie do wersjonowania danych z DVC

Sprawdzanie ignorowanych plików

  • Użyj polecenia dvc check-ignore
$ dvc check-ignore data/file.txt

data/file.txt
  • Użyj flagi -d, aby uzyskać szczegóły
$ dvc check-ignore -d data/file.txt

.dvcignore:3:data/*    data/file.txt
1 https://dvc.org/doc/command-reference/check-ignore
Wprowadzenie do wersjonowania danych z DVC

Podsumowanie

  • Instalacja DVC: pip install dvc
  • Weryfikacja wersji, platformy itp.
    • dvc version
  • Inicjalizacja DVC w przestrzeni roboczej
    • dvc init
    • Najpierw zainicjalizuj Git
  • Pliki .dvcignore służą do wykluczania plików
    • Podobne do .gitignore, ta sama składnia
    • Sprawdzanie wykluczenia pliku
      • dvc check-ignore <filename>
Wprowadzenie do wersjonowania danych z DVC

Czas na ćwiczenia!

Wprowadzenie do wersjonowania danych z DVC

Preparing Video For Download...