與 DVC 遠端互動

使用 DVC 進行資料版本控管入門

Ravi Bhadauria

Machine Learning Engineer

上傳與擷取資料

  • 將快取中的資料移到 DVC 遠端
$ dvc push <target>

$ dvc pull <target>
  • 目標是單一檔案
$ dvc push data.csv
使用 DVC 進行資料版本控管入門

上傳與擷取資料

  • 推送整個快取
$ dvc push
  • 更新快取而不變動工作目錄內容
$ dvc fetch
  • 以 -r 旗標覆寫預設遠端
$ dvc push -r aws_remote data.csv
使用 DVC 進行資料版本控管入門

與 Git 的相似處

dvc pull

  • 功能： 將遠端資料下載到 DVC 工作區

  • 適用情境： 大型資料集或模型產物

dvc push

  • 功能： 將資料上傳到遠端儲存

  • 適用情境： 共享或保存資料產物

git pull

  • 功能： 從遠端 Git 儲存庫抓取/合併

  • 適用情境： 本地分支與遠端同步

git push

  • 功能： 將本地變更上傳至遠端

  • 適用情境： 與遠端共享變更

使用 DVC 進行資料版本控管入門

資料版本控管

  • .dvc 由 Git 追蹤，而非 DVC

  • 善用此點以切換資料檔的特定版本

  • 先切換 .dvc 檔

$ git checkout <commit_hash|tag|branch>
  • 依 .dvc 檔中的 MD5 取回資料
$ dvc checkout <target>
使用 DVC 進行資料版本控管入門

追蹤資料變更

  • 變更資料檔內容，然後加入資料集變更
$ dvc add <target>
  • 將變更後的 .dvc 檔提交到 Git
$ git add <target>.dvc
$ git commit <target>.dvc \
    -m "Dataset updates"
  • 將中繼資料推送到 Git
$ git push origin main
  • 上傳已變更的資料檔
$ dvc push
使用 DVC 進行資料版本控管入門

一起來練習吧！

使用 DVC 進行資料版本控管入門

Preparing Video For Download...