Escrevendo e visualizando pipelines DVC

Introdução ao Controle de Versão de Dados com DVC

Ravi Bhadauria

Machine Learning Engineer

Pipelines DVC

  • Sequência de estágios que define o fluxo de trabalho de Machine Learning e dependências

    • Versionado e rastreado com Git
  • Definido no arquivo dvc.yaml

    • Dados de entrada e scripts (deps)
    • Parâmetros (params)
    • Comandos de execução do estágio (cmd)
    • Artefatos de saída (outs)
      • Dados especiais, ex.: metrics e plots
Introdução ao Controle de Versão de Dados com DVC

Adicionando estágio de pré-processamento

  • Crie estágios usando dvc stage add
dvc stage add \
-n preprocess \
-p params.yaml:preprocess \
-d raw_data.csv \
-d preprocess.py \
-o processed_data.csv \
python3 preprocess.py
stages:
  preprocess:
    cmd: python3 preprocess.py
    params:
      # Keys from params.yaml
      - params.yaml
        - preprocess
    deps:
    - preprocess.py
    - raw_data.csv
    outs:
    - processed_data.csv
Introdução ao Controle de Versão de Dados com DVC

Adicionando estágio de treino e avaliação

  • Adicione um passo de treino usando a saída do passo anterior
dvc stage add \
-n train_and_evaluate \
-p train_and_evaluate \
-d train_and_evaluate.py \
-d processed_data.csv \
-o plots.png \
-o metrics.json \
python3 train_and_evaluate.py
  • Grafo Acíclico Direcionado (DAG)
stages:
  train_and_evaluate:
    cmd: python3 train_and_evaluate.py
    params:
      # Skip specifying parameter file
      # Defaulted to params.yaml
      - train_and_evaluate
    deps:
    - processed_data.csv
    - train_and_evaluate.py
    outs:
    - plots.png
    - metrics.json
Introdução ao Controle de Versão de Dados com DVC

Atualizando estágios

  • Executando dvc stage add várias vezes
ERROR: Stage 'train_and_evaluate' 
already exists in 'dvc.yaml'.
Use '--force' to overwrite.
  • Use dvc stage add --force
dvc stage add --force \
-n train_and_evaluate \
-p train_and_evaluate \
-d train_and_evaluate.py \
-d processed_data.csv \
-o plots.png \
-o metrics.json \
python3 train_and_evaluate.py
Introdução ao Controle de Versão de Dados com DVC

Visualizando pipelines DVC

# Print DAG on terminal
dvc dag
# Display DAG up to a certain step
dvc dag <target>
            +------------+     
            | preprocess |     
            +------------+     
                   *           
                   *           
                   *           
        +--------------------+ 
        | train_and_evaluate | 
        +--------------------+
Introdução ao Controle de Versão de Dados com DVC

Visualizando pipelines DVC

# Display step outputs as nodes
dvc dag --outs
                    +-------------------------------+              
                    | processed_dataset/weather.csv |              
                    +-------------------------------+              
                          ***               ***                    
                       ***                     ***                 
                     **                           **               
          +--------------+                    +-----------+ 
          | metrics.json |                    | plots.png | 
          +--------------+                    +-----------+
Introdução ao Controle de Versão de Dados com DVC

Visualizando pipelines DVC

dvc dag --dot
strict digraph  {
"preprocess";
"train_and_evaluate";
"preprocess" -> "train_and_evaluate";
}

Um DAG DVC de dois estágios plotado como grafo a partir de um arquivo DOT

1 https://dreampuf.github.io/GraphvizOnline/
Introdução ao Controle de Versão de Dados com DVC

Vamos praticar!

Introdução ao Controle de Versão de Dados com DVC

Preparing Video For Download...