DVC 入門

使用 DVC 進行資料版本控管入門

Ravi Bhadauria

Machine Learning Engineer

Git 作為版控

程式碼版控系統
獨立本機開發
- 建立分支與合併
- 版本歷史管理
促進協作

Git 去中心化模型示意圖

Git 作為版控

以 CLI 互動
在「terminal」（又稱「shell」）執行
Git 透過儲存庫追蹤內容
- 要追蹤的實際檔案／資料夾
- Git 中繼資料（位於 .git 資料夾）

Git 儲存庫結構示意圖

Data Version Control（DVC）

DVC：Data Version Control 工具
- 管理資料與實驗
- 類似 Git

用 Git 與 DVC 進行資料版本控管的概念圖.png

Git 追蹤中繼資料，DVC 處理資料版本

Git 與 DVC 的 CLI

Git

在工作資料夾初始化儲存庫

$ git init

將檔案加入儲存庫（暫存變更）

$ git add code.py

提交變更（寫入版本歷史）

$ git commit -m "adding first file"

DVC

在工作資料夾初始化 DVC 儲存庫

$ dvc init

將資料檔加入 DVC 追蹤

$ dvc add data/mydata.csv

更新所有已追蹤的資料檔

$ dvc commit

Git 與 DVC 的 CLI

Git

將程式碼變更推送到遠端伺服器

$ git push

從遠端拉取變更

$ git pull

從遠端（GitHub）複製既有儲存庫

$ git clone \
https://github.com/username/repository-name.git

DVC

將資料變更推送到遠端資料伺服器

$ dvc push

同步你的 DVC 專案

$ dvc pull

下載由 DVC 追蹤的檔案或目錄

$ dvc get \
https://github.com/username/repo-name model.pkl

一起來練習吧！

使用 DVC 進行資料版本控管入門

Preparing Video For Download...