DVC リモートとのやり取り

DVCによるデータバージョニング入門

Ravi Bhadauria

Machine Learning Engineer

データのアップロードと取得

キャッシュから DVC リモートへ転送

$ dvc push <target>

$ dvc pull <target>

ターゲットは個別ファイル

$ dvc push data.csv

データのアップロードと取得

キャッシュ全体をプッシュ

$ dvc push

ワークスペースを変更せずにキャッシュを更新

$ dvc fetch

既定のリモートを -r フラグで上書き

$ dvc push -r aws_remote data.csv

Git との類似点

dvc pull

機能: リモートのデータを DVC ワークスペースへダウンロード
用途: 大規模データセットやモデル成果物

dvc push

機能: データをリモートストレージにアップロード
用途: 共有や成果物の保存

git pull

機能: リモート Git から取得/マージ
用途: ローカルブランチをリモートと同期

git push

機能: ローカルの変更をリモートへ送信
用途: 変更を Git リモートで共有

データのバージョン管理

.dvc は DVC ではなく Git で追跡
これを活用して特定バージョンのデータをチェックアウト
.dvc ファイルをチェックアウト

$ git checkout <commit_hash|tag|branch>

.dvc の MD5 に基づきデータを取得

$ dvc checkout <target>

データ変更の追跡

データファイルを更新し、データセットの変更を追加

$ dvc add <target>

変更された .dvc ファイルを Git にコミット

$ git add <target>.dvc
$ git commit <target>.dvc \
    -m "Dataset updates"

メタデータを Git にプッシュ

$ git push origin main

変更されたデータファイルをアップロード

$ dvc push

演習に進みましょう

DVCによるデータバージョニング入門

Preparing Video For Download...