Настройка и инициализация DVC

Введение в версионирование данных с DVC

Ravi Bhadauria

Machine Learning Engineer

Установка

  • DVC — это пакет Python
    • Устанавливается через pip
$ pip install dvc
  • Устанавливайте в виртуальных окружениях
  • Убедитесь, что Git установлен
Введение в версионирование данных с DVC

Проверка установки

$ dvc version

DVC version: 3.40.1 (pip)

Platform: Python 3.9.16 on macOS-14.2.1-arm64-arm-64bit

Config:
    Global: /Users/<username>/Library/Application Support/dvc
    System: /Library/Application Support/dvc

Repo: dvc, git
1 https://dvc.org/doc/command-reference/version
Введение в версионирование данных с DVC

Инициализация DVC

  • Убедитесь, что Git инициализирован
$ git init

Initialized empty Git repository in /path/to/repo/.git/
  • Инициализируйте DVC в репозитории
$ dvc init

Initialized DVC repository.

You can now commit the changes to git.
1 https://dvc.org/doc/command-reference/init
Введение в версионирование данных с DVC

Скрытые файлы DVC

  • При инициализации создаются внутренние файлы, которые нужно отслеживать в Git
$ git status

Changes to be committed:
  (use "git rm --cached <file>..." to unstage)
    new file:   .dvc/.gitignore
    new file:   .dvc/config
    new file:   .dvcignore
  • Зафиксируйте изменения
$ git commit -m "initialized dvc"
Введение в версионирование данных с DVC

Файл .dvcignore

  • Аналог файла .gitignore
    • Использует тот же синтаксис
    • Указывает файлы и директории, которые DVC будет игнорировать
  • Полезен при отслеживании многих ненужных файлов данных
    • Ускоряет выполнение операций DVC
1 https://dvc.org/doc/user-guide/project-structure/dvcignore-files 2 https://git-scm.com/docs/gitignore
Введение в версионирование данных с DVC

Пример

# .dvcignore
# Ignore all files in the 'data' directory
data/*


# But don't ignore 'data/data.csv'
!data/data.csv


# Ignore all .tmp files
*.tmp
1 https://dvc.org/doc/user-guide/project-structure/dvcignore-files
Введение в версионирование данных с DVC

Проверка игнорируемых файлов

  • Используйте команду dvc check-ignore
$ dvc check-ignore data/file.txt

data/file.txt
  • Флаг -d выводит подробности
$ dvc check-ignore -d data/file.txt

.dvcignore:3:data/*    data/file.txt
1 https://dvc.org/doc/command-reference/check-ignore
Введение в версионирование данных с DVC

Итоги

  • Установка DVC: pip install dvc
  • Проверка версии, платформы и т. д.
    • dvc version
  • Инициализация DVC в рабочей области
    • dvc init
    • Сначала инициализируйте Git
  • Файлы .dvcignore задают исключения
    • Аналог .gitignore, тот же синтаксис
    • Проверка конкретного файла
      • dvc check-ignore <filename>
Введение в версионирование данных с DVC

Давайте потренируемся!

Введение в версионирование данных с DVC

Preparing Video For Download...