Executando pipelines DVC

Introdução ao Controle de Versão de Dados com DVC

Ravi Bhadauria

Machine Learning Engineer

Recapitulando

  • Etapa de pré-processamento
stages:
  preprocess:
    cmd: python3 preprocess.py
    params:
      - preprocess
    deps:
    - preprocess.py
    - raw_data.csv
    outs:
    - processed_data.csv
  • Treinamento e avaliação
stages:
  train_and_evaluate:
    cmd: python3 train_and_evaluate.py
    params:
      - train_and_evaluate
    deps:
    - processed_data.csv
    - train_and_evaluate.py
    outs:
    - plots.png
    - metrics.json
Introdução ao Controle de Versão de Dados com DVC

Reproduzindo uma pipeline

  • Reproduza a pipeline com dvc repro
$ dvc repro
Running stage 'preprocess':                                      
> python preprocess.py

Running stage 'train_and_evaluate': > python train_and_evaluate.py Updating lock file 'dvc.lock'
  • Um arquivo de estado dvc.lock é gerado
    • Semelhante ao arquivo .dvc, registra hashes MD5
$ git add dvc.lock && git commit -m "first pipeline run"
Introdução ao Controle de Versão de Dados com DVC

Usando resultados em cache

  • Usando resultados em cache para acelerar iterações
$ dvc repro
Stage 'preprocess' didn't change, skipping
Running stage 'train_and_evaluate' with command: ...
Introdução ao Controle de Versão de Dados com DVC

Cache de etapas no DVC

Fluxograma de como funciona o cache de etapas no DVC

Introdução ao Controle de Versão de Dados com DVC

Dry run de uma pipeline

  • Use a flag --dry para só imprimir os comandos sem executar a pipeline
$ dvc repro --dry
Running stage 'preprocess':
> python3 preprocess_dataset.py

Running stage 'train_and_evaluate':
> python3 train_and_evaluate.py
Introdução ao Controle de Versão de Dados com DVC

Argumentos adicionais

  • Executar arquivos específicos dvc repro linear/dvc.yaml
    • Vários dvc.yaml na mesma pasta não são permitidos
  • Executar etapas específicas dvc repro <target_stage>
    • Isso também executa dependências upstream
  • Forçar execução de pipeline/etapa dvc repro -f
  • Não salvar saídas no cache dvc repro --no-commit
    • Use dvc commit depois
Introdução ao Controle de Versão de Dados com DVC

Execução paralela de etapas

Esquema da execução paralela de etapas (DAG) no DVC

  • Execute passos independentes em paralelo
# Execute A2 e suas dependências upstream
$ dvc repro A2
# Execute B2 e suas dependências upstream
$ dvc repro B2
  • Use o cache para acelerar a execução
$ dvc repro train
Stage 'A2' didn't change, skipping
Stage 'B2' didn't change, skipping
Running stage 'train' with command: ...
Introdução ao Controle de Versão de Dados com DVC

Vamos praticar!

Introdução ao Controle de Versão de Dados com DVC

Preparing Video For Download...