Tương tác với remote của DVC

CI/CD cho Machine Learning

Ravi Bhadauria

Machine Learning Engineer

Hiểu về DVC Remote

  • DVC Remote: Nơi lưu trữ dữ liệu
  • Tương tự Git remote, nhưng cho dữ liệu đã cache
  • Lợi ích khi dùng remote
    • Đồng bộ tệp/thư mục lớn
    • Tập trung hoặc phân tán lưu trữ
    • Tiết kiệm dung lượng máy local
  • Kiểu lưu trữ hỗ trợ
    • Amazon S3, GCS, Google Drive
    • SSH, HTTP, hệ thống tệp cục bộ
CI/CD cho Machine Learning

Thiết lập Remote

  • Thiết lập remote với lệnh dvc remote add
  • Với AWS
dvc remote add myAWSremote s3://mybucket
  • Tùy chỉnh bằng dvc remote modify
dvc remote modify myAWSremote connect_timeout 300
  • Thay đổi trong .dvc/config
 ['remote "myAWSremote"']
     url = s3://mybucket
     connect_timeout = 300
CI/CD cho Machine Learning

Remote cục bộ và mặc định

  • Remote cục bộ dùng cho thử nghiệm nhanh
  • Dùng thư mục hệ thống hoặc NAS
dvc remote add mylocalremote /tmp/dvc
  • Đặt remote mặc định với cờ -d
dvc remote add -d mylocalremote /tmp/dvc
  • Remote mặc định nằm trong phần core của .dvc/config
[core]
remote = mylocalremote
CI/CD cho Machine Learning

Tải lên và lấy dữ liệu

  • Lệnh chuyển dữ liệu

    • Đẩy lên remote: dvc push <target>
    • Kéo từ remote: dvc pull <target>

  • Tương tự git push và git pull

    • .dvc do Git theo dõi, không phải DVC
  • Target có thể là tệp đơn lẻ dvc push data.csv
    • Hoặc toàn bộ cache dvc push
  • Ghi đè remote mặc định bằng cờ -r
dvc push -r myAWSremote data.csv
CI/CD cho Machine Learning

Theo dõi thay đổi dữ liệu

  • Thay đổi nội dung tệp dữ liệu, rồi thêm cập nhật bộ dữ liệu
dvc add /path/to/data/datafile
  • Commit tệp .dvc đã đổi vào Git
git add /path/to/datafile.dvc
git commit /path/to/datafile.dvc -m "Dataset updates"
  • Đẩy metadata lên Git
git push origin main
  • Tải lên tệp dữ liệu đã đổi
dvc push
CI/CD cho Machine Learning

Hãy thực hành!

CI/CD cho Machine Learning

Preparing Video For Download...