Налаштування та ініціалізація DVC

Вступ до керування версіями даних із DVC

Ravi Bhadauria

Machine Learning Engineer

Встановлення

DVC — це пакет Python
- Універсально встановлюйте через pip

$ pip install dvc

Пам'ятайте встановлювати у віртуальні середовища
Переконайтеся, що Git встановлено

Перевірка встановлення

$ dvc version

DVC version: 3.40.1 (pip)

Platform: Python 3.9.16 on macOS-14.2.1-arm64-arm-64bit

Config:
    Global: /Users/<username>/Library/Application Support/dvc
    System: /Library/Application Support/dvc

Repo: dvc, git

¹ https://dvc.org/doc/command-reference/version

Ініціалізація DVC

Переконайтеся, що Git ініціалізовано

$ git init

Initialized empty Git repository in /path/to/repo/.git/

Ініціалізуйте DVC у репозиторії

$ dvc init

Initialized DVC repository.

You can now commit the changes to git.

¹ https://dvc.org/doc/command-reference/init

Приховані файли DVC

Під час ініціалізації створюються внутрішні файли, які слід відстежувати у Git

$ git status

Changes to be committed:
  (use "git rm --cached <file>..." to unstage)
    new file:   .dvc/.gitignore
    new file:   .dvc/config
    new file:   .dvcignore

Зробіть коміт змін

$ git commit -m "initialized dvc"

Файл .dvcignore

Подібний до файлу .gitignore
- Використовує такий самий шаблон
- Визначає файли/теки, які DVC ігноруватиме
Корисний, коли багато зайвих даних не потрібно відстежувати
- Прискорює виконання операцій DVC

¹ https://dvc.org/doc/user-guide/project-structure/dvcignore-files ² https://git-scm.com/docs/gitignore

Приклад

# .dvcignore
# Ігнорувати всі файли в теці 'data'
data/*


# Але не ігнорувати 'data/data.csv'
!data/data.csv


# Ігнорувати всі файли .tmp
*.tmp

¹ https://dvc.org/doc/user-guide/project-structure/dvcignore-files

Перевірка ігнорованих файлів

Використовуйте команду dvc check-ignore

$ dvc check-ignore data/file.txt

data/file.txt

Додайте прапорець -d, щоб отримати деталі

$ dvc check-ignore -d data/file.txt

.dvcignore:3:data/*    data/file.txt

¹ https://dvc.org/doc/command-reference/check-ignore

Підсумок

Встановіть DVC за допомогою pip install dvc
Перевірте версію, платформу тощо DVC
- dvc version
Ініціалізація DVC у робочому просторі
- dvc init
- Спершу ініціалізуйте Git
Файли .dvcignore задають виключення
- Подібний до .gitignore, така ж синтаксис
- Перевірте, чи файл виключено
  - dvc check-ignore <filename>

Давайте потренуємось!

Вступ до керування версіями даних із DVC