与 DVC 远程交互

DVC 数据版本管理入门

Ravi Bhadauria

Machine Learning Engineer

上传与获取数据

  • 在缓存与 DVC 远程间移动数据
$ dvc push <target>

$ dvc pull <target>
  • 目标是单个文件
$ dvc push data.csv
DVC 数据版本管理入门

上传与获取数据

  • 推送整个缓存
$ dvc push
  • 更新缓存而不更改工作区内容
$ dvc fetch
  • 用 -r 标志覆盖默认远程
$ dvc push -r aws_remote data.csv
DVC 数据版本管理入门

与 Git 的相似点

dvc pull

  • 功能：将远程数据下载到 DVC 工作区

  • 适用：大型数据集或模型制品

dvc push

  • 功能：将数据上传到远程存储

  • 适用：共享或存储数据制品

git pull

  • 功能：从远程 Git 仓库获取/合并

  • 适用：本地分支与远程同步

git push

  • 功能：将本地更改上传到远程

  • 适用：将更改推送到 Git 远程

DVC 数据版本管理入门

数据版本管理

  • .dvc 由 Git 跟踪，而非 DVC

  • 利用此点检出数据文件的特定版本

  • 检出 .dvc 文件

$ git checkout <commit_hash|tag|branch>
  • 按 .dvc 文件中的 MD5 检索数据
$ dvc checkout <target>
DVC 数据版本管理入门

跟踪数据变更

  • 修改数据文件内容，然后添加数据集变更
$ dvc add <target>
  • 将更改后的 .dvc 文件提交到 Git
$ git add <target>.dvc
$ git commit <target>.dvc \
    -m "Dataset updates"
  • 将元数据推送到 Git
$ git push origin main
  • 上传已更改的数据文件
$ dvc push
DVC 数据版本管理入门

Passons à la pratique !

DVC 数据版本管理入门

Preparing Video For Download...