Executarea pipeline-urilor DVC

Introducere în versionarea datelor cu DVC

Ravi Bhadauria

Machine Learning Engineer

Recapitulare

  • Etapa de preprocesare
stages:
  preprocess:
    cmd: python3 preprocess.py
    params:
      - preprocess
    deps:
    - preprocess.py
    - raw_data.csv
    outs:
    - processed_data.csv
  • Antrenare și evaluare
stages:
  train_and_evaluate:
    cmd: python3 train_and_evaluate.py
    params:
      - train_and_evaluate
    deps:
    - processed_data.csv
    - train_and_evaluate.py
    outs:
    - plots.png
    - metrics.json
Introducere în versionarea datelor cu DVC

Reproducerea unui pipeline

  • Reproduceți pipeline-ul folosind dvc repro
$ dvc repro
Running stage 'preprocess':                                      
> python preprocess.py

Running stage 'train_and_evaluate': > python train_and_evaluate.py Updating lock file 'dvc.lock'
  • Se generează un fișier de stare dvc.lock
    • Similar cu fișierul .dvc, stochează hash-uri MD5
$ git add dvc.lock && git commit -m "first pipeline run"
Introducere în versionarea datelor cu DVC

Utilizarea rezultatelor din cache

  • Utilizarea rezultatelor din cache pentru iterații mai rapide
$ dvc repro
Stage 'preprocess' didn't change, skipping
Running stage 'train_and_evaluate' with command: ...
Introducere în versionarea datelor cu DVC

Cache-ul etapelor în DVC

Diagramă de flux a funcționării cache-ului pentru etape în DVC

Introducere în versionarea datelor cu DVC

Rulare de test a pipeline-ului

  • Utilizați flag-ul --dry pentru a afișa comenzile fără a rula pipeline-ul
$ dvc repro --dry
Running stage 'preprocess':
> python3 preprocess_dataset.py

Running stage 'train_and_evaluate':
> python3 train_and_evaluate.py
Introducere în versionarea datelor cu DVC

Argumente suplimentare

  • Rulare pentru fișiere specifice dvc repro linear/dvc.yaml
    • Nu sunt permise mai multe dvc.yaml în același folder
  • Rulare pentru etape specifice dvc repro <target_stage>
    • Se vor rula și dependențele din amonte
  • Rulare forțată dvc repro -f
  • Fără stocarea rezultatelor în cache dvc repro --no-commit
    • Utilizați dvc commit ulterior
Introducere în versionarea datelor cu DVC

Execuția paralelă a etapelor

Schema DAG pentru execuția paralelă a etapelor în DVC

  • Rularea pașilor independenți în paralel
# Run A2 and its upstream dependencies
$ dvc repro A2
# Run B2 and its upstream dependencies
$ dvc repro B2
  • Utilizarea cache-ului pentru accelerarea execuției
$ dvc repro train
Stage 'A2' didn't change, skipping
Stage 'B2' didn't change, skipping
Running stage 'train' with command: ...
Introducere în versionarea datelor cu DVC

Să exersăm!

Introducere în versionarea datelor cu DVC

Preparing Video For Download...