Giới thiệu về DVC

Nhập môn Quản lý Phiên bản Dữ liệu với DVC

Ravi Bhadauria

Machine Learning Engineer

Git như công cụ quản lý phiên bản

  • Hệ thống quản lý phiên bản mã
  • Phát triển cục bộ độc lập
    • Nhánh và hợp nhất
    • Quản lý lịch sử phiên bản
  • Hỗ trợ cộng tác

Sơ đồ mô hình phi tập trung của Git

Nhập môn Quản lý Phiên bản Dữ liệu với DVC

Git như công cụ quản lý phiên bản

  • Tương tác qua CLI
  • Chạy trên terminal (shell)
  • Git theo dõi nội dung qua repository
    • Tệp/thư mục cần theo dõi
    • Siêu dữ liệu Git (trong thư mục .git)

Ảnh cấu trúc kho Git

Nhập môn Quản lý Phiên bản Dữ liệu với DVC

Data Version Control (DVC)

  • DVC: công cụ quản lý phiên bản dữ liệu
    • Quản lý dữ liệu và thí nghiệm
    • Tương tự Git

Hình minh họa quản lý phiên bản dữ liệu với Git và DVC.png

  • Git theo dõi siêu dữ liệu, DVC quản lý phiên bản dữ liệu
Nhập môn Quản lý Phiên bản Dữ liệu với DVC

CLI của Git vs DVC

Git

  • Khởi tạo kho trong thư mục làm việc
$ git init
  • Thêm tệp vào kho (staging)
$ git add code.py
  • Commit thay đổi (vào lịch sử)
$ git commit -m "adding first file"

DVC

  • Khởi tạo DVC trong thư mục làm việc
$ dvc init
  • Thêm dữ liệu vào DVC
$ dvc add data/mydata.csv
  • Cập nhật tất cả tệp dữ liệu đã theo dõi
$ dvc commit
Nhập môn Quản lý Phiên bản Dữ liệu với DVC

CLI của Git vs DVC

Git

  • Đẩy thay đổi mã lên máy chủ từ xa
$ git push
  • Kéo thay đổi từ máy chủ từ xa
$ git pull
  • Nhân bản kho từ máy chủ từ xa (Github)
$ git clone \
https://github.com/username/repository-name.git

DVC

  • Đẩy dữ liệu lên máy chủ dữ liệu từ xa
$ dvc push
  • Đồng bộ dự án DVC
$ dvc pull
  • Tải tệp/thư mục do DVC theo dõi
$ dvc get \
https://github.com/username/repo-name model.pkl
Nhập môn Quản lý Phiên bản Dữ liệu với DVC

Hãy luyện tập!

Nhập môn Quản lý Phiên bản Dữ liệu với DVC

Preparing Video For Download...