Versiebeheer voor datasets met Data Version Control

CI/CD voor Machine Learning

Ravi Bhadauria

Machine Learning Engineer

Waarom dataversiebeheer telt

  • Versiebeheer geeft een historisch log van datamutaties
  • Dataversiebeheer is cruciaal
    • Reproduceerbaarheid
    • Experimenteren en itereren
    • Samenwerking
    • Bugtracking en debuggen
    • Modelmonitoring en -onderhoud
    • Auditing en validatie
CI/CD voor Machine Learning

Data Version Control (DVC)

  • DVC: Data Version Control-tool
    • Beheert data en experimenten
    • Lijkt op Git

Conceptafbeelding van dataversiebeheer met Git en DVC.png

  • Git volgt metadata, DVC doet dataversiebeheer
CI/CD voor Machine Learning

DVC-opslag

  • Data apart opgeslagen
    • SSH, HTTP/HTTPS, lokaal bestandssysteem
    • Objectopslag van AWS, GCP en Azure
  • Lokaal installeren
pip install dvc
CI/CD voor Machine Learning

DVC initialiseren

  • Initialiseer Git git init
  • Initialiseer DVC
-> dvc init
Initialized DVC repository.
You can now commit the changes to git.
  • Richt DVC-projectbestanden in, klaar om data te versies beheren
.dvc
|- .gitignore
|- config
|- tmp
CI/CD voor Machine Learning

Bestanden toevoegen aan DVC

  • Voeg databestanden toe met dvc add <file>
-> dvc add data.csv
  • .dvc-plaatsvervangers met bestandsmetadata worden gegenereerd
    • Elk door DVC gevolgd bestand heeft een eigen .dvc-bestand (data.csv -> data.csv.dvc)
    • Check in bij Git om dataversies te beheren
  • DVC-cache wordt gevuld in .dvc/cache
CI/CD voor Machine Learning

DVC-databestanden

  • Databestand
-> cat data.csv
This is a sample data file.
  • Bestand data.csv.dvc
-> cat data.csv.dvc
 outs:
 - md5: ea9972ac9f8fa321ea74969e93acc196

   size: 28

   hash: md5

   path: data.csv
CI/CD voor Machine Learning

Samenvatting

  • Versiebeheer van data zorgt voor reproduceerbaarheid en samenwerking
  • DVC: tool voor dataversiebeheer, werkt met Git
  • Initialiseer DVC met dvc init, voeg bestanden toe met dvc add <file>
  • .dvc-bestanden slaan metadata op, Git volgt versies
CI/CD voor Machine Learning

Laten we oefenen!

CI/CD voor Machine Learning

Preparing Video For Download...