Зачем нужно версионирование данных

Введение в версионирование данных с DVC

Ravi Bhadauria

Machine Learning Engineer

Что такое версионирование данных?

Определение
- Отслеживает изменения данных
- Сохраняет снимки данных на каждой итерации
- По аналогии с версионированием кода
Преимущества
- Поиск и анализ данных
- Согласованность, прозрачность и прослеживаемость
Применение
- Data Science и машинное обучение
- Инженерия данных
- Финансовый анализ, аудит и соответствие требованиям

Данные vs код: версионирование

Версионирование кода

Хорошо известно в разработке ПО
Использует инструменты вроде Git для децентрализованного контроля версий
Относительно просто в управлении: кодовые базы невелики

Версионирование данных

Сравнительно новое направление (SciDB предложен в 2012 г.)
Инструменты вроде DVC используются совместно с Git
Сложнее в управлении из-за большого объёма наборов данных

¹ doi: 10.1109/ICDE.2012.102

Зачем версионировать данные в МО?

Схема модели машинного обучения как совокупности кода, гиперпараметров и данных

Влияние набора данных

Набор данных A Изображение первых строк набора данных A

Набор данных B Изображение первых строк набора данных B

Влияние набора данных

Гиперпараметры неизменны, набор данных изменён

Метрика	Набор A	Набор B
Precision	0.78	0.79
Recall	0.54	0.57
F1 Score	0.64	0.66
Accuracy	0.80	0.81

Влияние гиперпараметров

Набор данных неизменен, гиперпараметры изменены

Метрика	`n_estimators=5`	`n_estimators=10`
Precision	0.78	0.85
Recall	0.54	0.52
F1 Score	0.64	0.65
Accuracy	0.80	0.81

Интерфейс упражнений в редакторе

Аннотированный снимок интерфейса упражнения в редакторе с выделением областей папок, файлов и терминала.

Давайте потренируемся!

Введение в версионирование данных с DVC

Preparing Video For Download...