Вітаємо!

Вступ до керування версіями даних із DVC

Ravi Bhadauria

Machine Learning Engineer

Версіонування даних і DVC

  • Будова моделі машинного навчання
    • Код, дані та гіперпараметри точно визначають модель
    • Усі три слід відстежувати та версіонувати
  • Git і DVC
    • Git відстежує код, DVC — дані
    • Git відстежує метадані про самі дані
  • Можливості DVC
    • Версіонування даних і моделей
    • Запуск відтворюваних конвеєрів експериментів
    • Відстеження змін у метриках і графіках
Вступ до керування версіями даних із DVC

DVC: налаштування, кеш і віддалені сховища

  • Налаштування
    • Встановіть за допомогою pip install dvc
    • Ініціалізуйте dvc init
    • Використовуйте .dvcignore для керування шаблонами файлів для відстеження
  • Кеш
    • Додавайте файли через dvc add
    • Відстежуйте метадані у файлах .dvc
    • Видаляйте dvc remove, очищайте dvc gc
  • Віддалені сховища
    • Налаштуйте dvc remote add, перегляньте список dvc remote list
    • Завантажуйте й завантажуйте дані за допомогою dvc push і dvc pull
Вступ до керування версіями даних із DVC

Конвеєри DVC

  • Будова файлу dvc.yaml

    • Додавайте стадії через dvc stage add
    • Компоненти: steps, commands, dependencies, params і outputs
    • Відстежуйте метрики та графіки через ключі metrics і plots

  • Візуалізація й запуск DAG

    • Візуалізуйте dvc dag
    • Запускайте dvc repro

  • Показ і порівняння метрик та графіків

    • Візуалізуйте dvc plots show і dvc metrics show
    • Порівнюйте dvc plots diff і dvc metrics diff
Вступ до керування версіями даних із DVC

Дякуємо!

Вступ до керування версіями даних із DVC

Preparing Video For Download...