Recursos do DVC e casos de uso

Introdução ao Controle de Versão de Dados com DVC

Ravi Bhadauria

Machine Learning Engineer

Recursos do DVC e casos de uso

Tópicos abordados

  • Versionamento de dados e modelos
  • Pipelines do DVC
  • Rastreamento de métricas e gráficos

Tópicos avançados (não cobertos)

  • Rastreamento de experimentos
  • CI/CD para machine learning
  • Registro de dados
Introdução ao Controle de Versão de Dados com DVC

Versionamento de dados e modelos

Esquema de versionamento de dados e modelo atrelados a commits específicos do Git

1 https://dvc.org/doc/use-cases/versioning-data-and-models
Introdução ao Controle de Versão de Dados com DVC

Pipelines

Esquema da etapa de treino do modelo em um pipeline

  • Defina o pipeline em dvc.yaml
stages:
  train:
    cmd: python train.py

deps: - code/train.py - data/input_data.csv - params/params.json
outs: - model_output/model.pkl
  • Execute com dvc repro.
Introdução ao Controle de Versão de Dados com DVC

Rastreamento de métricas e gráficos

$ dvc metrics diff
Path                  Metric    HEAD     workspace    Change
dvclive/metrics.json  AUC       0.78912  0.18114      -0.60798
dvclive/metrics.json  TP        215      768          553

Comparação de métricas AUC entre experimentos de ML usando DVC plots

1 https://dvc.org/doc/command-reference/plots/diff
Introdução ao Controle de Versão de Dados com DVC

Rastreamento de experimentos

  • Rode o experimento e registre métricas
    • dvc repro
    • dvc exp save
  • Ou combine os dois passos com dvc exp run
  • Experimentos são referências Git personalizadas
    • Evitam inchar os commits do Git
    • Salvamentos explícitos podem ser feitos com dvc exp save
  • Visualize com dvc exp show
Introdução ao Controle de Versão de Dados com DVC

CI/CD para Machine Learning

Imagem conceitual de DVC e CML usados para CI/CD

1 Créditos da imagem: https://dvc.org/doc/use-cases/ci-cd-for-machine-learning
Introdução ao Controle de Versão de Dados com DVC

Registro de dados

Imagem do DVC usado como registro de dados

1 Créditos da imagem: https://dvc.org/doc/use-cases/data-registry
Introdução ao Controle de Versão de Dados com DVC

Vamos praticar!

Introdução ao Controle de Versão de Dados com DVC

Preparing Video For Download...