Quản lý phiên bản dữ liệu với Data Version Control

CI/CD cho Machine Learning

Ravi Bhadauria

Machine Learning Engineer

Vì sao cần quản lý phiên bản dữ liệu

Quản lý phiên bản tạo lịch sử thay đổi dữ liệu
Quản lý phiên bản dữ liệu là then chốt
- Tái lập kết quả
- Thử nghiệm và lặp
- Cộng tác
- Theo dõi và gỡ lỗi
- Giám sát và bảo trì mô hình
- Kiểm toán và xác nhận

Data Version Control (DVC)

DVC: công cụ Data Version Control
- Quản lý dữ liệu và thí nghiệm
- Tương tự Git

Hình minh họa quản lý phiên bản dữ liệu với Git và DVC.png

Git theo dõi metadata, DVC quản lý phiên bản dữ liệu

Kho lưu trữ DVC

Lưu dữ liệu tách biệt
- SSH, HTTP/HTTPS, hệ thống tệp cục bộ
- Lưu trữ đối tượng AWS, GCP, Azure
Cài đặt cục bộ

pip install dvc

Khởi tạo DVC

Khởi tạo Git git init
Khởi tạo DVC

-> dvc init
Initialized DVC repository.
You can now commit the changes to git.

Thiết lập tệp dự án DVC, sẵn sàng quản lý phiên bản dữ liệu

.dvc
|- .gitignore
|- config
|- tmp

Thêm tệp vào DVC

Thêm tệp dữ liệu bằng lệnh dvc add <file>

-> dvc add data.csv

Sinh tệp .dvc chứa metadata của tệp
- Mỗi tệp theo dõi bởi DVC có tệp .dvc tương ứng (data.csv -> data.csv.dvc)
- Đưa vào Git để quản lý phiên bản dữ liệu
Cache DVC được tạo trong .dvc/cache

Tệp dữ liệu DVC

Tệp dữ liệu

-> cat data.csv
This is a sample data file.

Tệp data.csv.dvc

-> cat data.csv.dvc
 outs:
 - md5: ea9972ac9f8fa321ea74969e93acc196

   size: 28

   hash: md5

   path: data.csv

Tóm tắt

Quản lý phiên bản dữ liệu đảm bảo tái lập và cộng tác
DVC: công cụ quản lý phiên bản dữ liệu, hoạt động với Git
Khởi tạo DVC với dvc init, thêm tệp bằng dvc add <file>
Tệp .dvc lưu metadata, Git theo dõi phiên bản

Ayo berlatih!

CI/CD cho Machine Learning

Preparing Video For Download...