DVC Cache a příprava souborů

Úvod do verzování dat s DVC

Ravi Bhadauria

Machine Learning Engineer

DVC Cache

Skryté úložiště pro sledované datové soubory a jejich verze
Dočasně ukládá soubory před commitem
- Vhodné pro velké datové sady a binární soubory
Nachází se v adresáři .dvc v pracovním prostoru
- Konfigurace umístění
```
$ dvc cache dir ~/mycache
```

Struktura DVC v pracovním prostoru

Přidávání souborů do cache

Přidání datových souborů do DVC

$ dvc add data.csv

100% Adding...|====================|1/1 [00:00, 53.55file/s]

To track the changes with git, run:
    git add data.csv.dvc
To enable auto staging, run:
    dvc config core.autostage true

Soubory .dvc

Každý soubor sledovaný DVC má odpovídající soubor .dvc
- data.csv -> data.csv.dvc
Pro verzování datového souboru použijte git commit -m "data.csv.dvc"
Obsah souborů .dvc

outs:

- md5: f38a850818377e97155d22755caa39d0

  size: 16

  hash: md5

  path: data.csv

Práce s DVC Cache

Cesta k souboru cache je odvozena z hodnoty MD5

$ find .dvc/cache -type f

.dvc/cache/f3/8a850818377e97155d22755caa39d0

Výpočet MD5 datové sady

$ md5 data.csv

MD5 (data.csv) = f38a850818377e97155d22755caa39d0

Práce s DVC Cache

Pro podrobný výstup použijte dvc add -v

Výstup příkazu dvc add s příznakem -v

Odstraňování souborů a čištění cache

Přidané soubory odstraníte pomocí dvc remove

$ dvc remove data.csv.dvc

Pro vyčištění cache použijte dvc gc
- S příznakem -w odstraníte cache pracovního prostoru

$ dvc gc -w

WARNING: This will remove all cache except items used in the workspace of the current repo.
Are you sure you want to proceed? [y/n]: y
Removed 1 objects from repo cache.

Shrnutí

DVC cache připravuje datové soubory před commitem
Konfigurace umístění cache
- dvc cache dir ~/mycache
Přidání souborů do cache
- dvc add data.csv
- Vytvoří soubor .dvc s metadaty
Odstranění souborů: dvc remove data.csv.dvc
- Vyčistění cache pracovního prostoru: dvc gc -w

Pojďme si procvičit!

Úvod do verzování dat s DVC