Versionera datamängder med Data Version Control

CI/CD för maskininlärning

Ravi Bhadauria

Machine Learning Engineer

Varför dataversionering är viktigt

Versionering skapar en historik över dataändringar
Dataversionering är avgörande
- Reproducerbarhet
- Experimentering och iteration
- Samarbete
- Felsökning
- Modellövervakning och underhåll
- Granskning och validering

Data Version Control (DVC)

DVC: verktyg för dataversionering
- Hanterar data och experiment
- Liknar Git

Konceptbild av dataversionering med Git och DVC.png

Git spårar metadata, DVC hanterar dataversionering

DVC-lagring

Data lagras separat
- SSH, HTTP/HTTPS, lokalt filsystem
- AWS, GCP och Azure objektlagring
Installera lokalt

pip install dvc

Initiera DVC

Initiera Git git init
Initiera DVC

-> dvc init
Initialized DVC repository.
You can now commit the changes to git.

Konfigurerar DVC-projektfiler, redo att versionera data

.dvc
|- .gitignore
|- config
|- tmp

Lägga till filer i DVC

Lägg till datafiler med kommandot dvc add <file>

-> dvc add data.csv

.dvc-platshållare med filmetadata genereras
- Varje DVC-spårad fil har en motsvarande .dvc-fil (data.csv -> data.csv.dvc)
- Checkas in i Git för att hantera dataversioner
DVC-cachen fylls i .dvc/cache

DVC-datafiler

Datafil

-> cat data.csv
This is a sample data file.

Filen data.csv.dvc

-> cat data.csv.dvc
 outs:
 - md5: ea9972ac9f8fa321ea74969e93acc196

   size: 28

   hash: md5

   path: data.csv

Sammanfattning

Dataversionering säkerställer reproducerbarhet och samarbete
DVC: verktyg för dataversionering, fungerar med Git
Initiera DVC med dvc init, lägg till filer med dvc add <file>
.dvc-filer lagrar metadata, Git spårar versioner

Nu kör vi en övning!

CI/CD för maskininlärning

Preparing Video For Download...