Thiết lập và khởi tạo DVC

Nhập môn Quản lý Phiên bản Dữ liệu với DVC

Ravi Bhadauria

Machine Learning Engineer

Cài đặt

DVC là gói Python
- Cài đặt phổ biến bằng pip

$ pip install dvc

Nên cài trong môi trường ảo
Đảm bảo đã cài Git

Xác minh cài đặt

$ dvc version

DVC version: 3.40.1 (pip)

Nền tảng: Python 3.9.16 trên macOS-14.2.1-arm64-arm-64bit

Cấu hình:
    Global: /Users/<username>/Library/Application Support/dvc
    System: /Library/Application Support/dvc

Repo: dvc, git

¹ https://dvc.org/doc/command-reference/version

Khởi tạo DVC

Đảm bảo đã khởi tạo Git

$ git init

Đã khởi tạo kho Git trống tại /path/to/repo/.git/

Khởi tạo DVC trong kho

$ dvc init

Đã khởi tạo kho DVC.

Giờ bạn có thể commit các thay đổi vào git.

¹ https://dvc.org/doc/command-reference/init

Tệp ẩn của DVC

Khởi tạo tạo các tệp nội bộ cần theo dõi bằng Git

$ git status

Changes to be committed:
  (use "git rm --cached <file>..." to unstage)
    new file:   .dvc/.gitignore
    new file:   .dvc/config
    new file:   .dvcignore

Commit các thay đổi

$ git commit -m "initialized dvc"

Tệp .dvcignore

Tương tự tệp .gitignore
- Cùng cú pháp mẫu
- Liệt kê tệp/thư mục DVC sẽ bỏ qua
Hữu ích khi có nhiều dữ liệu không cần theo dõi
- Tăng tốc thao tác DVC

¹ https://dvc.org/doc/user-guide/project-structure/dvcignore-files ² https://git-scm.com/docs/gitignore

Ví dụ

# .dvcignore
# Bỏ qua mọi tệp trong thư mục 'data'
data/*


# Nhưng không bỏ qua 'data/data.csv'
!data/data.csv


# Bỏ qua tất cả tệp .tmp
*.tmp

¹ https://dvc.org/doc/user-guide/project-structure/dvcignore-files

Kiểm tra tệp bị bỏ qua

Dùng lệnh dvc check-ignore

$ dvc check-ignore data/file.txt

data/file.txt

Dùng với cờ -d để xem chi tiết

$ dvc check-ignore -d data/file.txt

.dvcignore:3:data/*    data/file.txt

¹ https://dvc.org/doc/command-reference/check-ignore

Tóm tắt

Cài DVC bằng pip install dvc
Xác minh phiên bản, nền tảng, v.v. của DVC
- dvc version
Khởi tạo DVC trong workspace
- dvc init
- Khởi tạo Git trước
Tệp .dvcignore dùng để chỉ định tệp loại trừ
- Tương tự .gitignore, cùng cú pháp
- Kiểm tra một tệp có bị loại trừ không
  - dvc check-ignore <filename>

Ayo berlatih!

Nhập môn Quản lý Phiên bản Dữ liệu với DVC