恭喜你！

使用 DVC 進行資料版本控管入門

Ravi Bhadauria

Machine Learning Engineer

資料版控與 DVC

  • 機器學習模型剖析
    • 程式碼、資料與超參數共同精確定義模型
    • 三者都需追蹤與版控
  • Git 與 DVC
    • Git 追蹤程式碼，DVC 追蹤資料
    • Git 追蹤資料的中繼資料
  • DVC 功能
    • 對資料與模型進行版本管理
    • 執行可重現的實驗管線
    • 追蹤指標與圖表變更
使用 DVC 進行資料版本控管入門

DVC 設定、快取與遠端

  • 設定
    • 使用 pip install dvc 安裝
    • 使用 dvc init 初始化
    • 用 .dvcignore 控制要追蹤的檔案樣式
  • 快取
    • 用 dvc add 新增檔案
    • 以 .dvc 檔追蹤中繼資料
    • 用 dvc remove 移除，dvc gc 清理
  • 遠端
    • 用 dvc remote add 設定，dvc remote list 列出
    • 用 dvc push 上傳、dvc pull 下載資料
使用 DVC 進行資料版本控管入門

DVC 管線

  • dvc.yaml 檔案剖析

    • 用 dvc stage add 新增階段
    • 元件包含 steps、commands、dependencies、params、outputs
    • 以 metrics 與 plots 欄位追蹤指標與圖表

  • 視覺化與執行 DAG

    • 用 dvc dag 視覺化
    • 用 dvc repro 執行

  • 顯示與比較指標與圖表

    • 用 dvc plots show、dvc metrics show 視覺化
    • 用 dvc plots diff、dvc metrics diff 比較
使用 DVC 進行資料版本控管入門

謝謝你！

使用 DVC 進行資料版本控管入門

Preparing Video For Download...