Bộ nhớ đệm DVC và tệp dàn (staging)

Nhập môn Quản lý Phiên bản Dữ liệu với DVC

Ravi Bhadauria

Machine Learning Engineer

Bộ nhớ đệm DVC

Kho ẩn lưu tệp dữ liệu được theo dõi và các phiên bản
Dàn tệp tạm thời cho đến khi commit
- Nên thêm bộ dữ liệu lớn và tệp nhị phân
Nằm trong thư mục .dvc của workspace
- Cấu hình vị trí
```
$ dvc cache dir ~/mycache
```

Ảnh cấu trúc DVC trong workspace

Thêm tệp vào cache

Thêm tệp dữ liệu vào dvc

$ dvc add data.csv

100% Adding...|====================|1/1 [00:00, 53.55file/s]

To track the changes with git, run:
    git add data.csv.dvc
To enable auto staging, run:
    dvc config core.autostage true

Tệp .dvc

Mỗi tệp được DVC theo dõi có tệp .dvc tương ứng
- data.csv -> data.csv.dvc
Để tạo phiên bản cho tệp dữ liệu, dùng git commit -m "data.csv.dvc"
Nội dung tệp .dvc

outs:

- md5: f38a850818377e97155d22755caa39d0

  size: 16

  hash: md5

  path: data.csv

Tương tác với bộ nhớ đệm DVC

Đường dẫn tệp cache dùng giá trị MD5

$ find .dvc/cache -type f

.dvc/cache/f3/8a850818377e97155d22755caa39d0

Tính MD5 của tập dữ liệu

$ md5 data.csv

MD5 (data.csv) = f38a850818377e97155d22755caa39d0

Tương tác với bộ nhớ đệm DVC

Dùng dvc add -v để xem log chi tiết

Ảnh đầu ra khi chạy dvc add với cờ -v

Xóa và dọn dẹp bộ nhớ đệm

Xóa tệp đã thêm bằng dvc remove

$ dvc remove data.csv.dvc

Để dọn bộ nhớ đệm, dùng dvc gc
- Dùng cờ -w để xóa cache của workspace

$ dvc gc -w

WARNING: This will remove all cache except items used in the workspace of the current repo.
Are you sure you want to proceed? [y/n]: y
Removed 1 objects from repo cache.

Tóm tắt

DVC dàn (stage) dữ liệu vào cache trước khi commit
Cấu hình vị trí cache
- dvc cache dir ~/mycache
Thêm tệp vào cache
- dvc add data.csv
- Tạo tệp .dvc chứa siêu dữ liệu
Xóa tệp đã thêm dvc remove data.csv.dvc
- Dọn cache workspace với dvc gc -w

Ayo berlatih!

Nhập môn Quản lý Phiên bản Dữ liệu với DVC