Funzionalità DVC e casi d’uso

Introduzione al versionamento dei dati con DVC

Ravi Bhadauria

Machine Learning Engineer

Funzionalità DVC e casi d’uso

Argomenti trattati

Versionamento di dati e modelli
Pipeline DVC
Tracciamento di metriche e grafici

Argomenti avanzati (non trattati)

Tracking degli esperimenti
CI/CD per il machine learning
Registro dati

Versionamento di dati e modelli

Schema del versionamento dei dati con il modello legato a commit Git specifici

¹ https://dvc.org/doc/use-cases/versioning-data-and-models

Pipeline

Schema della pipeline della fase di training del modello

Definisci la pipeline in dvc.yaml

stages:
  train:
    cmd: python train.py

    deps:
      - code/train.py
      - data/input_data.csv
      - params/params.json

    outs:
      - model_output/model.pkl

Esegui con dvc repro.

Tracciamento di metriche e grafici

$ dvc metrics diff
Path                  Metric    HEAD     workspace    Change
dvclive/metrics.json  AUC       0.78912  0.18114      -0.60798
dvclive/metrics.json  TP        215      768          553

Confronto delle metriche AUC tra esperimenti ML con DVC plots

¹ https://dvc.org/doc/command-reference/plots/diff

Tracking degli esperimenti

Esegui l’esperimento e registra le metriche
- dvc repro
- dvc exp save
In alternativa, unisci i due passaggi con dvc exp run
Gli esperimenti sono reference Git personalizzate
- Evitano commit Git gonfi
- Puoi salvare esplicitamente con dvc exp save
Visualizza con dvc exp show

CI/CD per il Machine Learning

Immagine concettuale di DVC e CML per CI/CD

¹ Crediti immagine: https://dvc.org/doc/use-cases/ci-cd-for-machine-learning

Registro dati

Immagine di DVC usato come data registry

¹ Crediti immagine: https://dvc.org/doc/use-cases/data-registry

Passons à la pratique !

Introduzione al versionamento dei dati con DVC