Введение в DVC

Введение в версионирование данных с DVC

Ravi Bhadauria

Machine Learning Engineer

Git как система контроля версий

Система контроля версий кода
Независимая локальная разработка
- Ветвление и слияние
- Управление историей версий
Поддержка совместной работы

Схема децентрализованной модели Git

Взаимодействие через CLI
Запуск в терминале, или оболочке
Git отслеживает содержимое через репозиторий
- Файлы и папки, подлежащие отслеживанию
- Метаданные Git (в папке .git)

Структура репозитория Git

DVC: инструмент контроля версий данных
- Управляет данными и экспериментами
- Аналог Git

Концептуальная схема версионирования данных с помощью Git и DVC

$ git init

$ git add code.py

$ git commit -m "adding first file"

$ dvc init

$ dvc add data/mydata.csv

$ dvc commit

$ git push

$ git pull

$ git clone \
https://github.com/username/repository-name.git

$ dvc push

$ dvc pull

$ dvc get \
https://github.com/username/repo-name model.pkl

Введение в версионирование данных с DVC