Değerlendirme: DVC'de metrikler ve grafikler

DVC ile Veri Sürümlendirmeye Giriş

Ravi Bhadauria

Machine Learning Engineer

Metrikler: dvc.yaml değişiklikleri

Deneyler arasında metrikleri izlemek için DVC YAML dosyasını yapılandırın
outs öğesinden değiştirin

stages:
  train_and_evaluate:
    outs:
    - metrics.json
    - plots.png

$$ $$

metrics öğesine

stages:
  train_and_evaluate:
    outs:
    - plots.png
    metrics:
      - metrics.json:
        cache: false

DVC metriklerini yazdırma

$ dvc metrics show

Path          accuracy    f1_score    precision    recall             
metrics.json  0.947       0.8656      0.988        0.7702

Çalıştırmalar arasında metrik karşılaştırma

Bir hiperparametreyi değiştirin ve dvc repro komutunu yeniden çalıştırın

$ dvc metrics diff

Path          Metric     HEAD    workspace    Change                  
metrics.json  accuracy   0.947   0.9995       0.0525
metrics.json  f1_score   0.8656  0.9989       0.1333
metrics.json  precision  0.988   0.9993       0.0113
metrics.json  recall     0.7702  0.9986       0.2284

Grafikler: dvc.yaml değişiklikleri

stages:
  train_and_evaluate:
    ...
    plots:
    - predictions.csv: # Tahminleri içeren dosyanın adı
        template: confusion # Grafiğin stili

        x: predicted_label # CSV'deki X ekseni sütun adı 
        y: true_label # CSV'deki Y ekseni sütun adı
        x_label: 'Predicted label'
        y_label: 'True label'
        title: Confusion matrix

        cache: false # Git'te sakla

¹ https://dvc.org/doc/user-guide/experiment-management/visualizing-plots#plot-templates-data-series-only

DVC grafiklerini dosyaya yazdırma

$ dvc plots show predictions.csv

file:///path/to/index.html

DVC tarafından oluşturulan karışıklık matrisi grafiği

DVC grafiklerini karşılaştırma

# predictions.csv içindeki grafiği main dalı ile karşılaştır
$ dvc plots diff --target predictions.csv <branch name or commit SHA>

DVC tarafından oluşturulan karışıklık matrisi fark grafiği

Hadi pratik yapalım!

DVC ile Veri Sürümlendirmeye Giriş