DVCの概要

DVCによるデータバージョニング入門

Ravi Bhadauria

Machine Learning Engineer

Gitによるバージョン管理

コードのバージョン管理システム
独立したローカル開発
- ブランチとマージ
- バージョン履歴管理
チームコラボレーションを支援

Gitの分散モデルの概略図

Gitによるバージョン管理

CLIベースの操作
ターミナル（シェル）で実行
Gitはリポジトリでコンテンツを管理
- 追跡対象のファイル・フォルダ
- Gitメタデータ（.gitフォルダ内）

Gitリポジトリ構造の図

データバージョン管理（DVC）

DVC：データバージョン管理ツール
- データと実験を管理
- Gitに類似

GitとDVCでデータをバージョン管理するコンセプト図

Gitがメタデータを管理し、DVCがデータのバージョン管理を担当

Git vs DVC CLI

Git

作業フォルダにリポジトリを初期化

$ git init

ファイルをリポジトリに追加（ステージング）

$ git add code.py

変更をコミット（バージョン履歴に記録）

$ git commit -m "adding first file"

DVC

作業フォルダにDVCリポジトリを初期化

$ dvc init

データファイルをDVCに追加

$ dvc add data/mydata.csv

追跡中のデータファイルをすべて更新

$ dvc commit

Git vs DVC CLI

Git

リモートサーバーにコードをプッシュ

$ git push

リモートから変更をプル

$ git pull

リモート（Github）から既存リポジトリをクローン

$ git clone \
https://github.com/username/repository-name.git

DVC

リモートデータサーバーにデータをプッシュ

$ dvc push

DVCプロジェクトを同期

$ dvc pull

DVCで管理されたファイルまたはディレクトリをダウンロード

$ dvc get \
https://github.com/username/repo-name model.pkl

練習しましょう！

DVCによるデータバージョニング入門

Preparing Video For Download...