Motivace pro verzování dat

Úvod do verzování dat s DVC

Ravi Bhadauria

Machine Learning Engineer

Co je verzování dat?

  • Definice
    • Sleduje změny dat v čase
    • Vytváří snímky dat v iteracích
    • Podobné verzování kódu
  • Přínosy
    • Načítání a analýza
    • Konzistence, odpovědnost a linie dat
  • Využití
    • Datová věda a strojové učení
    • Datové inženýrství
    • Finanční analýza, audit a compliance
Úvod do verzování dat s DVC

Verzování dat vs. kódu

Verzování kódu

  • Dobře známé v softwarovém vývoji
  • Používá nástroje jako Git pro decentralizovanou správu verzí
  • Snadnější správa díky malé velikosti kódové základny

Verzování dat

  • Relativně nové (SciDB navržen v roce 2012)
  • Nástroje jako DVC se používají společně s Gitem
  • Obtížnější správa kvůli velké velikosti datasetů
1 doi: 10.1109/ICDE.2012.102
Úvod do verzování dat s DVC

Proč verzovat data v ML?

Obrázek složení ML modelu z kódu, hyperparametrů a dat

Úvod do verzování dat s DVC

Vliv datasetu

Dataset A Obrázek hlavičky datového rámce datasetu A

Dataset B Obrázek hlavičky datového rámce datasetu B

Úvod do verzování dat s DVC

Vliv datasetu

 

Hyperparametry jsou stejné, dataset se změnil

 

Metrika Dataset A Dataset B
Přesnost 0.78 0.79
Úplnost 0.54 0.57
F1 skóre 0.64 0.66
Přesnost (acc.) 0.80 0.81
Úvod do verzování dat s DVC

Vliv hyperparametrů

 

Dataset je stejný, hyperparametry se změnily

 

Metrika n_estimators=5 n_estimators=10
Přesnost 0.78 0.85
Úplnost 0.54 0.52
F1 skóre 0.64 0.65
Přesnost (acc.) 0.80 0.81
Úvod do verzování dat s DVC

Rozvržení editoru

Okomentovaný snímek rozvržení editoru s označenými oblastmi složek, souborů a terminálu.

Úvod do verzování dat s DVC

Pojďme si procvičit!

Úvod do verzování dat s DVC

Preparing Video For Download...