Chúc mừng!

Nhập môn Quản lý Phiên bản Dữ liệu với DVC

Ravi Bhadauria

Machine Learning Engineer

Phiên bản dữ liệu và DVC

  • Giải phẫu mô hình Machine Learning
    • Mã, dữ liệu và siêu tham số xác định chính xác mô hình
    • Cả ba cần được theo dõi và tạo phiên bản
  • Git và DVC
    • Git theo dõi mã; DVC theo dõi dữ liệu
    • Git theo dõi siêu dữ liệu về dữ liệu thực
  • DVC cho phép chúng ta
    • Tạo phiên bản dữ liệu và mô hình
    • Chạy pipeline thí nghiệm có thể tái lập
    • Theo dõi thay đổi của chỉ số và biểu đồ
Nhập môn Quản lý Phiên bản Dữ liệu với DVC

DVC: cài đặt, cache và remote

  • Cài đặt
    • Cài bằng pip install dvc
    • Khởi tạo với dvc init
    • Dùng .dvcignore để kiểm soát mẫu tệp cần theo dõi
  • Bộ nhớ đệm (cache)
    • Thêm tệp bằng dvc add
    • Theo dõi siêu dữ liệu bằng các tệp .dvc
    • Xóa bằng dvc remove, dọn dẹp bằng dvc gc
  • Remote
    • Cấu hình bằng dvc remote add, liệt kê với dvc remote list
    • Tải lên/xuống dữ liệu bằng dvc push và dvc pull
Nhập môn Quản lý Phiên bản Dữ liệu với DVC

Pipeline DVC

  • Cấu trúc tệp dvc.yaml

    • Dùng dvc stage add để thêm stage
    • Thành phần gồm steps, commands, dependencies, params, và outputs
    • Theo dõi chỉ số và biểu đồ bằng khóa metrics và plots

  • Trực quan hóa và chạy DAG

    • Trực quan hóa với dvc dag
    • Chạy bằng dvc repro

  • Hiển thị và so sánh chỉ số, biểu đồ

    • Trực quan hóa với dvc plots show và dvc metrics show
    • So sánh bằng dvc plots diff và dvc metrics diff
Nhập môn Quản lý Phiên bản Dữ liệu với DVC

Cảm ơn bạn!

Nhập môn Quản lý Phiên bản Dữ liệu với DVC

Preparing Video For Download...