Fonctionnalités DVC et cas d'usage

Introduction au contrôle de versions des données avec DVC

Ravi Bhadauria

Machine Learning Engineer

Fonctionnalités DVC et cas d'usage

Sujets couverts

  • Gestion de versions des données et des modèles
  • Pipelines DVC
  • Suivi des mesures et des graphiques

Sujets avancés (non couverts)

  • Suivi des expériences
  • CI/CD pour le Machine Learning
  • Registre de données
Introduction au contrôle de versions des données avec DVC

Gestion de versions des données et des modèles

Schéma : gestion de versions des données et du modèle liées à des commits Git précis

1 https://dvc.org/doc/use-cases/versioning-data-and-models
Introduction au contrôle de versions des données avec DVC

Pipelines

Schéma : pipeline de l'étape d'entraînement du modèle

  • Définir le pipeline dans dvc.yaml
stages:
  train:
    cmd: python train.py

    deps:
      - code/train.py
      - data/input_data.csv
      - params/params.json

    outs:
      - model_output/model.pkl
  • Exécuter avec dvc repro.
Introduction au contrôle de versions des données avec DVC

Suivi des mesures et des graphiques

$ dvc metrics diff
Path                  Metric    HEAD     workspace    Change
dvclive/metrics.json  AUC       0.78912  0.18114      -0.60798
dvclive/metrics.json  TP        215      768          553

Comparaison des mesures AUC entre expériences ML avec les graphiques DVC

1 https://dvc.org/doc/command-reference/plots/diff
Introduction au contrôle de versions des données avec DVC

Suivi des expériences

  • Exécuter l'expérience et consigner les mesures
    • dvc repro
    • dvc exp save
  • Sinon, combiner les deux étapes : dvc exp run
  • Les expériences sont des références Git personnalisées
    • Évite d'encombrer l'historique Git
    • Des enregistrements explicites peuvent être faits avec dvc exp save
  • Visualiser avec dvc exp show
Introduction au contrôle de versions des données avec DVC

CI/CD pour le Machine Learning

Image conceptuelle : DVC et CML pour la CI/CD

1 Crédits image : https://dvc.org/doc/use-cases/ci-cd-for-machine-learning
Introduction au contrôle de versions des données avec DVC

Registre de données

Image : DVC utilisé comme registre de données

1 Crédits image : https://dvc.org/doc/use-cases/data-registry
Introduction au contrôle de versions des données avec DVC

Passons à la pratique !

Introduction au contrôle de versions des données avec DVC

Preparing Video For Download...