Motywacja do wersjonowania danych

Wprowadzenie do wersjonowania danych z DVC

Ravi Bhadauria

Machine Learning Engineer

Czym jest wersjonowanie danych?

Definicja
- Monitoruje zmiany danych w czasie
- Tworzy migawki danych w kolejnych iteracjach
- Podobne do wersjonowania kodu
Korzyści
- Odtwarzanie i analiza
- Spójność, rozliczalność i rodowód danych
Zastosowania
- Data Science i uczenie maszynowe
- Inżynieria danych
- Analiza finansowa, audyt i zgodność

Wersjonowanie danych vs kodu

Wersjonowanie kodu

Powszechnie stosowane w tworzeniu oprogramowania
Używa narzędzi takich jak Git do zdecentralizowanej kontroli wersji
Łatwiejsze w zarządzaniu ze względu na niewielki rozmiar baz kodu

Wersjonowanie danych

Stosunkowo nowe (SciDB zaproponowany w 2012 r.)
Narzędzia takie jak DVC są używane razem z Git
Trudniejsze w zarządzaniu ze względu na duże rozmiary zbiorów danych

¹ doi: 10.1109/ICDE.2012.102

Dlaczego wersjonowanie danych w ML?

Ilustracja składowych modelu ML: kod, hiperparametry i dane

Wpływ zbioru danych

Zbiór A Podgląd ramki danych zbioru A

Zbiór B Podgląd ramki danych zbioru B

Wpływ zbioru danych

Hiperparametry niezmienne, zmieniony zbiór danych

Metryka	Zbiór A	Zbiór B
Precyzja	0.78	0.79
Czułość	0.54	0.57
F1 Score	0.64	0.66
Dokładność	0.80	0.81

Wpływ hiperparametrów

Zbiór danych niezmieniony, zmienione hiperparametry

Metryka	`n_estimators=5`	`n_estimators=10`
Precyzja	0.78	0.85
Czułość	0.54	0.52
F1 Score	0.64	0.65
Dokładność	0.80	0.81

Układ ćwiczeń w edytorze

Opisany zrzut ekranu układu ćwiczenia w edytorze z zaznaczonym folderem, plikiem i terminalem.

Czas na ćwiczenia!

Wprowadzenie do wersjonowania danych z DVC

Preparing Video For Download...