Gratulujeme!

Úvod do verzování dat s DVC

Ravi Bhadauria

Machine Learning Engineer

Verzování dat a DVC

  • Anatomie modelu strojového učení
    • Model přesně definuje kód, data a hyperparametry
    • Všechny tři složky je nutné sledovat a verzovat
  • Git a DVC
    • Git sleduje kód, DVC sleduje data
    • Git uchovává metadata o skutečných datech
  • DVC umožňuje
    • Verzování dat a modelů
    • Spouštění reprodukovatelných experimentálních pipeline
    • Sledování změn metrik a grafů
Úvod do verzování dat s DVC

Nastavení DVC, mezipaměť a vzdálená úložiště

  • Nastavení
    • Instalace pomocí pip install dvc
    • Inicializace pomocí dvc init
    • Použití .dvcignore k řízení sledovaných vzorů souborů
  • Mezipaměť
    • Přidání souborů pomocí dvc add
    • Sledování metadat pomocí souborů .dvc
    • Odebrání pomocí dvc remove, čištění pomocí dvc gc
  • Vzdálená úložiště
    • Konfigurace pomocí dvc remote add, výpis pomocí dvc remote list
    • Nahrávání a stahování dat pomocí dvc push a dvc pull
Úvod do verzování dat s DVC

Pipeline v DVC

  • Struktura souboru dvc.yaml

    • Přidání fází pomocí dvc stage add
    • Komponenty zahrnují steps, commands, dependencies, params a outputs
    • Sledování metrik a grafů pomocí klíčů metrics a plots

  • Vizualizace a spuštění DAG

    • Vizualizace pomocí dvc dag
    • Spuštění pomocí dvc repro

  • Zobrazení a porovnání metrik a grafů

    • Vizualizace pomocí dvc plots show a dvc metrics show
    • Porovnání pomocí dvc plots diff a dvc metrics diff
Úvod do verzování dat s DVC

Děkujeme!

Úvod do verzování dat s DVC

Preparing Video For Download...