おめでとうございます！

DVCによるデータバージョニング入門

Ravi Bhadauria

Machine Learning Engineer

データのバージョニングと DVC

  • 機械学習モデルの構成要素
    • コード・データ・ハイパーパラメータでモデルが定義される
    • 3つすべてを追跡しバージョン管理する必要がある
  • Git と DVC
    • コードは Git、データは DVC で追跡
    • Git は実データのメタデータを追跡
  • DVC でできること
    • データとモデルのバージョン管理
    • 再現可能な実験パイプラインの実行
    • 指標とプロットの変更の追跡
DVCによるデータバージョニング入門

DVC のセットアップ、キャッシュ、リモート

  • セットアップ
    • pip install dvc でインストール
    • dvc init で初期化
    • .dvcignore で追跡対象のパターンを制御
  • キャッシュ
    • dvc add でファイルを追加
    • .dvc ファイルでメタデータを管理
    • dvc remove で削除、dvc gc でクリーンアップ
  • リモート
    • dvc remote add で設定、dvc remote list で一覧
    • dvc push と dvc pull でアップロード/ダウンロード
DVCによるデータバージョニング入門

DVC パイプライン

  • dvc.yaml の構成

    • dvc stage add でステージを追加
    • 構成要素: steps、commands、dependencies、params、outputs
    • metrics と plots キーで指標とプロットを追跡

  • DAG の可視化と実行

    • dvc dag で可視化
    • dvc repro で実行

  • 指標とプロットの表示・比較

    • dvc plots show と dvc metrics show で表示
    • dvc plots diff と dvc metrics diff で比較
DVCによるデータバージョニング入門

ありがとうございました！

DVCによるデータバージョニング入門

Preparing Video For Download...