Motivația versionării datelor

Introducere în versionarea datelor cu DVC

Ravi Bhadauria

Machine Learning Engineer

Ce este versionarea datelor?

  • Definiție
    • Monitorizează modificările datelor în timp
    • Creează instantanee ale datelor pe parcursul iterațiilor
    • Similar cu versionarea codului
  • Beneficii
    • Recuperare și analiză
    • Consistență, responsabilitate și trasabilitate
  • Aplicații
    • Știința datelor și Machine Learning
    • Ingineria datelor
    • Analiză financiară, audit și conformitate
Introducere în versionarea datelor cu DVC

Date vs. Cod: Versionare

Versionarea codului

  • Bine cunoscută în dezvoltarea software
  • Utilizează instrumente precum Git pentru control descentralizat al versiunilor
  • Mai ușor de gestionat, deoarece bazele de cod sunt mici

Versionarea datelor

  • Relativ nouă (SciDB propus în 2012)
  • Lanțuri de instrumente precum DVC sunt utilizate împreună cu Git
  • Relativ dificil de gestionat din cauza dimensiunii mari a seturilor de date
1 doi: 10.1109/ICDE.2012.102
Introducere în versionarea datelor cu DVC

De ce versionarea datelor în ML?

Imagine a componentelor unui model ML: Cod, Hiperparametri și Date

Introducere în versionarea datelor cu DVC

Influența setului de date

Setul de date A Imagine a primelor rânduri din setul de date A

Setul de date B Imagine a primelor rânduri din setul de date B

Introducere în versionarea datelor cu DVC

Influența setului de date

 

Hiperparametrii sunt constanți, setul de date s-a schimbat

 

Metrică Setul de date A Setul de date B
Precizie 0.78 0.79
Recall 0.54 0.57
Scor F1 0.64 0.66
Acuratețe 0.80 0.81
Introducere în versionarea datelor cu DVC

Influența hiperparametrilor

 

Setul de date este constant, hiperparametrii s-au schimbat

 

Metrică n_estimators=5 n_estimators=10
Precizie 0.78 0.85
Recall 0.54 0.52
Scor F1 0.64 0.65
Acuratețe 0.80 0.81
Introducere în versionarea datelor cu DVC

Structura editorului de exerciții

Imagine adnotată a interfeței de exerciții, cu zonele pentru foldere, fișiere și terminal.

Introducere în versionarea datelor cu DVC

Să exersăm!

Introducere în versionarea datelor cu DVC

Preparing Video For Download...