Úvod do DVC

Úvod do verzování dat s DVC

Ravi Bhadauria

Machine Learning Engineer

Git jako správa verzí

Systém pro správu verzí kódu
Nezávislý lokální vývoj
- Větve a slučování
- Správa historie verzí
Umožňuje spolupráci

Schéma decentralizovaného modelu Gitu

Git jako správa verzí

Ovládání přes příkazový řádek
Spouštění v terminálu, tj. shellu
Git sleduje obsah prostřednictvím repozitáře
- Sledované soubory a složky
- Metadata Gitu (ve složce .git)

Struktura repozitáře Git

Správa verzí dat (DVC)

DVC: nástroj pro správu verzí dat
- Správa dat a experimentů
- Podobný Gitu

Vizualizace verzování dat pomocí Gitu a DVC.png

Git sleduje metadata, DVC spravuje verzování dat

Git vs. DVC CLI

Git

Inicializace repozitáře v pracovní složce

$ git init

Přidání souborů do repozitáře (příprava změn)

$ git add code.py

Potvrzení změn (do historie verzí)

$ git commit -m "adding first file"

DVC

Inicializace repozitáře DVC v pracovní složce

$ dvc init

Přidání datových souborů do DVC

$ dvc add data/mydata.csv

Aktualizace všech sledovaných datových souborů

$ dvc commit

Git vs. DVC CLI

Git

Nahrání změn kódu na vzdálený server

$ git push

Stažení změn ze vzdáleného serveru

$ git pull

Klonování repozitáře ze vzdáleného serveru (Github)

$ git clone \
https://github.com/username/repository-name.git

DVC

Nahrání datových změn na vzdálený datový server

$ dvc push

Synchronizace projektu DVC

$ dvc pull

Stažení souboru nebo adresáře sledovaného DVC

$ dvc get \
https://github.com/username/repo-name model.pkl

Lass uns üben!

Úvod do verzování dat s DVC

Preparing Video For Download...