恭喜你！

DVC 数据版本管理入门

Ravi Bhadauria

Machine Learning Engineer

数据版本管理与 DVC

  • 机器学习模型的要素
    • 代码、数据和超参数共同精确定义模型
    • 这三者都需跟踪并做版本管理
  • Git 与 DVC
    • Git 跟踪代码，DVC 跟踪数据
    • Git 仅跟踪数据的元数据
  • DVC 的作用
    • 为数据与模型做版本管理
    • 运行可复现实验流水线
    • 跟踪指标与图表的变化
DVC 数据版本管理入门

DVC：安装、缓存与远端

  • 安装与初始化
    • 使用 pip install dvc 安装
    • 使用 dvc init 初始化
    • 通过 .dvcignore 控制需跟踪的文件模式
  • 缓存
    • 用 dvc add 添加文件
    • 用 .dvc 文件跟踪元数据
    • 用 dvc remove 删除，用 dvc gc 清理
  • 远端存储
    • 用 dvc remote add 配置，用 dvc remote list 列出
    • 用 dvc push 上传，用 dvc pull 下载数据
DVC 数据版本管理入门

DVC 流水线

  • dvc.yaml 文件结构

    • 用 dvc stage add 添加阶段
    • 组件包括 steps、commands、dependencies、params、outputs
    • 用 metrics 与 plots 键跟踪指标和图表

  • 可视化与运行 DAG

    • 用 dvc dag 可视化
    • 用 dvc repro 运行

  • 显示与对比指标和图表

    • 用 dvc plots show、dvc metrics show 可视化
    • 用 dvc plots diff、dvc metrics diff 对比
DVC 数据版本管理入门

谢谢！

DVC 数据版本管理入门

Preparing Video For Download...