DVC özellikleri ve kullanım alanları

DVC ile Veri Sürümlendirmeye Giriş

Ravi Bhadauria

Machine Learning Engineer

DVC özellikleri ve kullanım alanları

Ele alınan konular

Veri ve model sürümlendirme
DVC Boru Hatları
Metrik ve grafik takibi

İleri konular (kapsam dışı)

Deney takibi
Makine öğrenimi için CI/CD
Veri kayıt defteri

Veri ve model sürümlendirme

Belirli Git commit’lerine bağlayarak veri ve modelin sürümlendirilmesi şeması

¹ https://dvc.org/doc/use-cases/versioning-data-and-models

Boru hatları

Model eğitimi adımının boru hattı şeması

Boru hattını dvc.yaml içinde tanımlayın

stages:
  train:
    cmd: python train.py

    deps:
      - code/train.py
      - data/input_data.csv
      - params/params.json

    outs:
      - model_output/model.pkl

dvc repro ile çalıştırın.

Metrik ve grafik takibi

$ dvc metrics diff
Path                  Metric    HEAD     workspace    Change
dvclive/metrics.json  AUC       0.78912  0.18114      -0.60798
dvclive/metrics.json  TP        215      768          553

DVC grafiklerini kullanarak ML deneyleri arasında AUC metriklerini karşılaştırma

¹ https://dvc.org/doc/command-reference/plots/diff

Deney takibi

Deneyi çalıştırın, metrikleri kaydedin
- dvc repro
- dvc exp save
Alternatif: iki adımı birleştirin dvc exp run
Deneyler özel Git referanslarıdır
- Git commit’lerini şişirmeyi önler
- dvc exp save ile açıkça kaydedilebilir
dvc exp show ile görselleştirin

Makine Öğrenimi için CI/CD

CI/CD için kullanılan DVC ve CML kavramsal görseli

¹ Picture credits: https://dvc.org/doc/use-cases/ci-cd-for-machine-learning

Veri kayıt defteri

Veri kayıt defteri olarak kullanılan DVC görseli

¹ Picture credits: https://dvc.org/doc/use-cases/data-registry

Hadi pratik yapalım!

DVC ile Veri Sürümlendirmeye Giriş