Motivering till dataversionshantering

Introduktion till dataversionshantering med DVC

Ravi Bhadauria

Machine Learning Engineer

Vad är dataversionshantering?

Definition
- Övervakar dataförändringar över tid
- Tar ögonblicksbilder av data mellan iterationer
- Liknar kodversionshantering
Fördelar
- Hämtning och granskning
- Datakonsistens, ansvarighet och datalinje
Tillämpningar
- Data Science och maskininlärning
- Datateknik
- Finansiell analys, revision och regelefterlevnad

Data vs. kodversionshantering

Kodversionshantering

Välkänt inom mjukvaruutveckling
Använder verktyg som Git för decentraliserad versionshantering
Enklare att hantera eftersom kodbaser är små

Dataversionshantering

Relativt ny (SciDB föreslogs 2012)
Verktygskedjor som DVC används tillsammans med Git
Relativt svår att hantera på grund av stora datamängder

¹ doi: 10.1109/ICDE.2012.102

Varför dataversionshantering i ML?

Bild som visar hur en ML-modell består av kod, hyperparametrar och data

Datamängdens inverkan

Datamängd A Bild av dataframe-huvud för datamängd A

Datamängd B Bild av dataframe-huvud för datamängd B

Datamängdens inverkan

Hyperparametrar hålls konstanta, datamängd byts ut

Mätvärde	Datamängd A	Datamängd B
Precision	0,78	0,79
Recall	0,54	0,57
F1-poäng	0,64	0,66
Noggrannhet	0,80	0,81

Hyperparametrarnas inverkan

Datamängd hålls konstant, hyperparametrar ändras

Mätvärde	`n_estimators=5`	`n_estimators=10`
Precision	0,78	0,85
Recall	0,54	0,52
F1-poäng	0,64	0,65
Noggrannhet	0,80	0,81

Layout för editorövningar

Kommenterad bild av editorövningens layout med mapp-, fil- och terminalområde.

Nu kör vi en övning!

Introduktion till dataversionshantering med DVC

Preparing Video For Download...