Cache-ul DVC și organizarea fișierelor

Introducere în versionarea datelor cu DVC

Ravi Bhadauria

Machine Learning Engineer

Cache-ul DVC

Stocare ascunsă pentru fișierele de date urmărite și versiunile lor
Organizează temporar fișierele până la commit
- Recomandat pentru seturi de date mari și fișiere binare
Se află în directorul .dvc din spațiul de lucru
- Configurați locația
```
$ dvc cache dir ~/mycache
```

Imaginea structurii DVC din spațiul de lucru

Adăugarea fișierelor în cache

Adăugați fișiere de date în DVC

$ dvc add data.csv

100% Adding...|====================|1/1 [00:00, 53.55file/s]

To track the changes with git, run:
    git add data.csv.dvc
To enable auto staging, run:
    dvc config core.autostage true

Fișierele .dvc

Fiecare fișier urmărit de DVC are un fișier .dvc corespunzător
- data.csv -> data.csv.dvc
Pentru a versiona fișierul de date, folosiți git commit -m "data.csv.dvc"
Conținutul fișierelor .dvc

outs:

- md5: f38a850818377e97155d22755caa39d0

  size: 16

  hash: md5

  path: data.csv

Interacțiunea cu cache-ul DVC

Calea fișierului din cache folosește valoarea MD5

$ find .dvc/cache -type f

.dvc/cache/f3/8a850818377e97155d22755caa39d0

Calculați MD5 al setului de date

$ md5 data.csv

MD5 (data.csv) = f38a850818377e97155d22755caa39d0

Interacțiunea cu cache-ul DVC

Folosiți dvc add -v pentru ieșire detaliată

Imaginea ieșirii comenzii dvc add cu indicatorul -v

Eliminarea din cache și curățarea acestuia

Eliminați fișierele adăugate cu dvc remove

$ dvc remove data.csv.dvc

Pentru a curăța cache-ul, folosiți dvc gc
- Folosiți indicatorul -w pentru a elimina cache-ul spațiului de lucru

$ dvc gc -w

WARNING: This will remove all cache except items used in the workspace of the current repo.
Are you sure you want to proceed? [y/n]: y
Removed 1 objects from repo cache.

Rezumat

Cache-ul DVC organizează fișierele de date înainte de commit
Configurați locația cache-ului
- dvc cache dir ~/mycache
Adăugați fișiere în cache
- dvc add data.csv
- Creează un fișier .dvc cu metadate
Eliminați fișierele adăugate: dvc remove data.csv.dvc
- Curățați cache-ul spațiului de lucru cu dvc gc -w

Să exersăm!

Introducere în versionarea datelor cu DVC