Можливості DVC і приклади використання

Вступ до керування версіями даних із DVC

Ravi Bhadauria

Machine Learning Engineer

Можливості DVC і приклади використання

Теми

Версіонування даних і моделей
DVC Pipelines
Відстеження метрик і графіків

Додаткові теми (поза курсом)

Відстеження експериментів
CI/CD для машинного навчання
Реєстр даних

Версіонування даних і моделей

Схема версіонування даних і моделі з прив'язкою до конкретних комітів Git

¹ https://dvc.org/doc/use-cases/versioning-data-and-models

Конвеєри

Схема конвеєра етапу навчання моделі

Опишіть конвеєр у dvc.yaml

stages:
  train:
    cmd: python train.py

    deps:
      - code/train.py
      - data/input_data.csv
      - params/params.json

    outs:
      - model_output/model.pkl

Запустіть за допомогою dvc repro.

Відстеження метрик і графіків

$ dvc metrics diff
Path                  Metric    HEAD     workspace    Change
dvclive/metrics.json  AUC       0.78912  0.18114      -0.60798
dvclive/metrics.json  TP        215      768          553

Порівняння метрики AUC між експериментами ML за допомогою DVC plots

¹ https://dvc.org/doc/command-reference/plots/diff

Відстеження експериментів

Запустіть експеримент і запишіть метрики
- dvc repro
- dvc exp save
Або поєднайте два кроки: dvc exp run
Експерименти — це кастомні посилання Git
- Уникають розростання історії комітів Git
- За потреби робіть явні збереження dvc exp save
Візуалізуйте за допомогою dvc exp show

CI/CD для машинного навчання

Концепт-ілюстрація використання DVC і CML для CI/CD

¹ Picture credits: https://dvc.org/doc/use-cases/ci-cd-for-machine-learning

Реєстр даних

Застосування DVC як реєстру даних

¹ Picture credits: https://dvc.org/doc/use-cases/data-registry

Давайте потренуємось!

Вступ до керування версіями даних із DVC