Tương tác với DVC Remote

Nhập môn Quản lý Phiên bản Dữ liệu với DVC

Ravi Bhadauria

Machine Learning Engineer

Tải lên và lấy dữ liệu

  • Di chuyển dữ liệu từ cache đến DVC remote
$ dvc push <target>

$ dvc pull <target>
  • Target là từng tệp riêng lẻ
$ dvc push data.csv
Nhập môn Quản lý Phiên bản Dữ liệu với DVC

Tải lên và lấy dữ liệu

  • Đẩy toàn bộ cache
$ dvc push
  • Cập nhật cache mà không đổi nội dung workspace
$ dvc fetch
  • Ghi đè remote mặc định với cờ -r
$ dvc push -r aws_remote data.csv
Nhập môn Quản lý Phiên bản Dữ liệu với DVC

Tương đồng với Git

dvc pull

  • Chức năng: Tải dữ liệu từ remote về workspace DVC

  • Trường hợp dùng: Bộ dữ liệu lớn hoặc artifact mô hình

dvc push

  • Chức năng: Tải dữ liệu lên remote

  • Trường hợp dùng: Chia sẻ hoặc lưu trữ artifact dữ liệu

git pull

  • Chức năng: Fetch/Merge từ remote Git repo

  • Trường hợp dùng: Đồng bộ nhánh local với remote

git push

  • Chức năng: Đẩy thay đổi local lên remote

  • Trường hợp dùng: Chia sẻ thay đổi lên Git remote

Nhập môn Quản lý Phiên bản Dữ liệu với DVC

Quản lý phiên bản dữ liệu

  • .dvc do Git theo dõi, không phải DVC

  • Tận dụng để checkout phiên bản cụ thể của tệp dữ liệu

  • Checkout tệp .dvc

$ git checkout <commit_hash|tag|branch>
  • Lấy dữ liệu theo MD5 ghi trong tệp .dvc
$ dvc checkout <target>
Nhập môn Quản lý Phiên bản Dữ liệu với DVC

Theo dõi thay đổi dữ liệu

  • Thay đổi nội dung tệp dữ liệu, rồi thêm cập nhật tập dữ liệu
$ dvc add <target>
  • Commit tệp .dvc đã đổi vào Git
$ git add <target>.dvc
$ git commit <target>.dvc \
    -m "Dataset updates"
  • Đẩy metadata lên Git
$ git push origin main
  • Tải lên tệp dữ liệu đã đổi
$ dvc push
Nhập môn Quản lý Phiên bản Dữ liệu với DVC

Passons à la pratique !

Nhập môn Quản lý Phiên bản Dữ liệu với DVC

Preparing Video For Download...