DVC-cache och mellanlagring av filer

Introduktion till dataversionshantering med DVC

Ravi Bhadauria

Machine Learning Engineer

DVC-cache

Dold lagring för spårade datafiler och versioner
Mellanlagrar temporära filer tills de committas
- Lämpligt för stora datamängder och binära filer
Finns i katalogen .dvc i arbetsytan
- Konfigurera plats
```
$ dvc cache dir ~/mycache
```

Bild av DVC-struktur i arbetsytan

Lägga till filer i cachen

Lägg till datafiler i dvc

$ dvc add data.csv

100% Adding...|====================|1/1 [00:00, 53.55file/s]

To track the changes with git, run:
    git add data.csv.dvc
To enable auto staging, run:
    dvc config core.autostage true

.dvc-filer

Varje DVC-spårad fil har en motsvarande .dvc-fil
- data.csv -> data.csv.dvc
Versionshantera datafilen med git commit -m "data.csv.dvc"
Innehåll i .dvc-filer

outs:

- md5: f38a850818377e97155d22755caa39d0

  size: 16

  hash: md5

  path: data.csv

Interaktion med DVC-cachen

Cachefilers sökväg använder MD5-värdet

$ find .dvc/cache -type f

.dvc/cache/f3/8a850818377e97155d22755caa39d0

Beräkna MD5 för datamängden

$ md5 data.csv

MD5 (data.csv) = f38a850818377e97155d22755caa39d0

Interaktion med DVC-cachen

Använd dvc add -v för utförlig utdata

Bild av utdata från dvc add med flaggan -v

Ta bort filer från och rensa cachen

Ta bort tillagda filer med dvc remove

$ dvc remove data.csv.dvc

Rensa cachen med dvc gc
- Använd flaggan -w för att ta bort arbetsytans cache

$ dvc gc -w

WARNING: This will remove all cache except items used in the workspace of the current repo.
Are you sure you want to proceed? [y/n]: y
Removed 1 objects from repo cache.

Sammanfattning

DVC-cachen mellanlagrar datafiler innan commit
Konfigurera cachens plats
- dvc cache dir ~/mycache
Lägg till filer i cachen
- dvc add data.csv
- Skapar en .dvc-fil med metadata
Ta bort tillagda filer med dvc remove data.csv.dvc
- Rensa arbetsytans cache med dvc gc -w

Nu kör vi en övning!

Introduktion till dataversionshantering med DVC