Поздравляем!

Введение в версионирование данных с DVC

Ravi Bhadauria

Machine Learning Engineer

Версионирование данных и DVC

  • Анатомия модели машинного обучения
    • Код, данные и гиперпараметры точно определяют модель
    • Все три компонента необходимо отслеживать и версионировать
  • Git и DVC
    • Git отслеживает код, DVC — данные
    • Git хранит метаданные о самих данных
  • DVC позволяет
    • Версионировать данные и модели
    • Запускать воспроизводимые конвейеры экспериментов
    • Отслеживать изменения метрик и графиков
Введение в версионирование данных с DVC

Настройка DVC, кэш и удалённые хранилища

  • Настройка
    • Установка: pip install dvc
    • Инициализация: dvc init
    • Управление отслеживаемыми файлами через .dvcignore
  • Кэш
    • Добавление файлов: dvc add
    • Хранение метаданных в файлах .dvc
    • Удаление: dvc remove, очистка: dvc gc
  • Удалённые хранилища
    • Настройка: dvc remote add, просмотр: dvc remote list
    • Загрузка и скачивание данных: dvc push и dvc pull
Введение в версионирование данных с DVC

Конвейеры DVC

  • Структура файла dvc.yaml

    • Добавление этапов: dvc stage add
    • Компоненты: steps, commands, dependencies, params и outputs
    • Отслеживание метрик и графиков через ключи metrics и plots

  • Визуализация и запуск DAG

    • Визуализация: dvc dag
    • Запуск: dvc repro

  • Просмотр и сравнение метрик и графиков

    • Визуализация: dvc plots show и dvc metrics show
    • Сравнение: dvc plots diff и dvc metrics diff
Введение в версионирование данных с DVC

Спасибо!

Введение в версионирование данных с DVC

Preparing Video For Download...