Cấu hình DVC Remote

Nhập môn Quản lý Phiên bản Dữ liệu với DVC

Ravi Bhadauria

Machine Learning Engineer

Ôn tập

Khởi tạo kho DVC
- Chạy dvc init
- Kho nằm trong workspace (/path/to/my-project)
Thiết lập bộ nhớ đệm (cache) DVC
- Khu vực tạm trong thư mục .dvc
  - /path/to/my-project/.dvc/cache
- Đưa tệp tạm vào stage bằng dvc add
Tiếp theo: DVC Remote
- Lưu trữ bên ngoài
- Theo dõi và chia sẻ tài nguyên

DVC Remote: nơi lưu dữ liệu
Tương tự Git remote, nhưng cho dữ liệu đã được cache
Lợi ích khi dùng remote
- Đồng bộ tệp/thư mục lớn
- Tập trung hoặc phân tán lưu trữ
- Tiết kiệm dung lượng máy

Sơ đồ luồng dữ liệu từ DVC workspace đến cache và remote

Đồ họa về các loại lưu trữ DVC hỗ trợ

$ dvc remote add s3_remote \
   s3://mys3bucket

 ['remote "s3_remote"']
     url = s3://mys3bucket

$ dvc remote add gcp_remote \
   gs://myGCPbucket

$ dvc remote add azure_remote \
   azure://mycontainer/path

$ dvc remote add mylocalremote /tmp/dvc

$ dvc remote add -d mylocalremote /tmp/dvc

[core]
remote = mylocalremote

$ dvc remote list

s3_remote    s3://mys3bucket
local_remote /tmp/dvcremote

 ['remote "s3_remote"']
     url = s3://mys3bucket
 ['remote "local_remote"']
     url = /tmp/dvcremote

$ dvc remote modify s3_remote connect_timeout 300

 ['remote "s3_remote"']
     url = s3://mys3bucket
     connect_timeout = 300

Nhập môn Quản lý Phiên bản Dữ liệu với DVC