Confrontare metriche e grafici in DVC

CI/CD per Machine Learning

Ravi Bhadauria

Machine Learning Engineer

Configurare il file YAML di DVC

Configura il file YAML di DVC per tracciare le metriche tra gli esperimenti
Passa da outs

stages:
  preprocess:
    ...
  train:
    ...
    outs:
    - metrics.json
    - confusion_matrix.png

A metrics

stages:
  preprocess:
    ...
  train:
    ...
    outs:
    - confusion_matrix.png

    metrics:
      - metrics.json:
          cache: false

Interrogare e confrontare metriche DVC

-> dvc metrics show

Path          accuracy    f1_score    precision    recall             
metrics.json  0.947       0.8656      0.988        0.7702

Modifica un iperparametro e riesegui dvc repro

-> dvc metrics diff

Path          Metric     HEAD    workspace    Change                  
metrics.json  accuracy   0.947   0.9995       0.0525
metrics.json  f1_score   0.8656  0.9989       0.1333
metrics.json  precision  0.988   0.9993       0.0113
metrics.json  recall     0.7702  0.9986       0.2284

¹ https://dvc.org/doc/command-reference/metrics

Configurare l'Action DVC su GitHub

Aggiungi l'Action GitHub setup-dvc
Sostituisci l'esecuzione di script Python con la pipeline DVC

steps:
  ...
  - name: Setup DVC
    uses: iterative/setup-dvc@v1

  - name: Run DVC pipeline
    run: dvc repro

Configurare l'Action DVC su GitHub

- name: Write CML report
  env:
    REPO_TOKEN: ${{ secrets.GITHUB_TOKEN }}
  run: |
    # Stampa le metriche del branch corrente
    dvc metrics show --md >> report.md

    # Confronta le metriche con il branch main
    git fetch --prune
    dvc metrics diff --md main >> report.md

    # Crea il report CML
    cml comment create report.md

Pipeline in azione

Schermata di un commento alla pull request con il diff delle metriche rispetto al branch main

Tipi di grafici in DVC

scatter - grafico a dispersione
linear - grafico lineare interattivo
simple - grafico lineare personalizzabile non interattivo
smooth - grafico lineare con smoothing
confusion - matrice di confusione
confusion_normalized - matrice di confusione con valori normalizzati in [0, 1]
bar_horizontal - barre orizzontali
bar_horizontal_sorted - barre orizzontali ordinate per dimensione

¹ https://dvc.org/doc/user-guide/experiment-management/visualizing-plots#plot-templates-data-series-only

Configurare DVC YAML per i grafici

stages:
  train:
    ...
    plots:
    - predictions.csv: # Nome del file con le predizioni
        template: confusion # Stile del grafico

        x: predicted_label # Nome colonna asse X nel file csv 
        y: true_label # Nome colonna asse Y nel file csv
        x_label: 'Predicted label'
        y_label: 'True label'
        title: Confusion matrix

        cache: false # Salva in Git

Grafico della matrice di confusione

-> dvc plots show predictions.csv
file:///path/to/index.html

Grafico della matrice di confusione generato da DVC

Confrontare la matrice di confusione

-> dvc plots diff --target predictions.csv main
file:///path/to/index.html

Grafico del diff della matrice di confusione generato da DVC

Confrontare le curve ROC

# Modifiche in Python
y_proba = model.predict_proba(X_test)
fpr, tpr, _ = roc_curve(y_test, 
                        y_proba[:, 1])

# Modifiche in dvc.yaml
plots:
- roc_curve.csv:
    template: simple
    x: fpr
    y: tpr
    x_label: 'False Positive Rate'
    y_label: 'True Positive Rate'
    title: ROC curve
    cache: false

Grafico del diff della curva ROC generato da DVC

Esercitiamoci!

CI/CD per Machine Learning