DVC:s funktioner och användningsområden

Introduktion till dataversionshantering med DVC

Ravi Bhadauria

Machine Learning Engineer

DVC:s funktioner och användningsområden

Kursinnehåll

Versionshantering av data och modeller
DVC-pipelines
Spårning av mätvärden och diagram

Avancerade ämnen (ingår ej)

Experimentspårning
CI/CD för maskininlärning
Dataregister

Versionshantering av data och modeller

Schematisk bild över versionshantering av data med modell kopplad till specifika Git-commits

¹ https://dvc.org/doc/use-cases/versioning-data-and-models

Pipelines

Schematisk bild över pipeline för modellträningssteg

Definiera pipeline i dvc.yaml

stages:
  train:
    cmd: python train.py

    deps:
      - code/train.py
      - data/input_data.csv
      - params/params.json

    outs:
      - model_output/model.pkl

Kör med dvc repro.

Spårning av mätvärden och diagram

$ dvc metrics diff
Path                  Metric    HEAD     workspace    Change
dvclive/metrics.json  AUC       0.78912  0.18114      -0.60798
dvclive/metrics.json  TP        215      768          553

Jämförelse av AUC-mätvärden mellan ML-experiment med DVC plots

¹ https://dvc.org/doc/command-reference/plots/diff

Experimentspårning

Kör experiment och logga mätvärden
- dvc repro
- dvc exp save
Alternativt, kombinera de två stegen med dvc exp run
Experiment är anpassade Git-referenser
- Förhindrar att Git-historiken sväller
- Explicita sparningar görs med dvc exp save
Visualisera med dvc exp show

CI/CD för maskininlärning

Konceptbild över DVC och CML för CI/CD

¹ Bildkälla: https://dvc.org/doc/use-cases/ci-cd-for-machine-learning

Dataregister

Bild över DVC används som dataregister

¹ Bildkälla: https://dvc.org/doc/use-cases/data-registry

Nu kör vi en övning!

Introduktion till dataversionshantering med DVC