Tính năng và ca sử dụng của DVC

Nhập môn Quản lý Phiên bản Dữ liệu với DVC

Ravi Bhadauria

Machine Learning Engineer

Tính năng và ca sử dụng của DVC

Chủ đề đã học

Phiên bản hóa dữ liệu và mô hình
DVC Pipelines
Theo dõi chỉ số và biểu đồ

Chủ đề nâng cao (không đề cập)

Theo dõi thử nghiệm
CI/CD cho machine learning
Data registry

Phiên bản hóa dữ liệu và mô hình

Sơ đồ phiên bản hóa dữ liệu và mô hình gắn với commit Git cụ thể

¹ https://dvc.org/doc/use-cases/versioning-data-and-models

Pipelines

Sơ đồ pipeline cho bước huấn luyện mô hình

Định nghĩa pipeline trong dvc.yaml

stages:
  train:
    cmd: python train.py

    deps:
      - code/train.py
      - data/input_data.csv
      - params/params.json

    outs:
      - model_output/model.pkl

Chạy với dvc repro.

Theo dõi chỉ số và biểu đồ

$ dvc metrics diff
Path                  Metric    HEAD     workspace    Change
dvclive/metrics.json  AUC       0.78912  0.18114      -0.60798
dvclive/metrics.json  TP        215      768          553

So sánh AUC giữa các thử nghiệm ML bằng DVC plots

¹ https://dvc.org/doc/command-reference/plots/diff

Theo dõi thử nghiệm

Chạy thử nghiệm và ghi chỉ số
- dvc repro
- dvc exp save
Hoặc gộp hai bước với dvc exp run
Thử nghiệm là tham chiếu Git tùy chỉnh
- Tránh phình to commit Git
- Có thể lưu tường minh bằng dvc exp save
Trực quan hóa với dvc exp show

CI/CD cho Machine Learning

Ảnh khái niệm DVC và CML dùng cho CI/CD

¹ Picture credits: https://dvc.org/doc/use-cases/ci-cd-for-machine-learning

Data registry

Hình minh họa DVC như một data registry

¹ Picture credits: https://dvc.org/doc/use-cases/data-registry

Ayo berlatih!

Nhập môn Quản lý Phiên bản Dữ liệu với DVC