Pamięć podręczna DVC i przechowywanie plików

Wprowadzenie do wersjonowania danych z DVC

Ravi Bhadauria

Machine Learning Engineer

Pamięć podręczna DVC

Ukryte miejsce przechowywania śledzonych plików i wersji
Tymczasowo przechowuje pliki przed zatwierdzeniem
- Zalecane dla dużych zbiorów danych i plików binarnych
Znajduje się w katalogu .dvc w przestrzeni roboczej
- Konfiguracja lokalizacji
```
$ dvc cache dir ~/mycache
```

Obraz struktury DVC w przestrzeni roboczej

Dodawanie plików do pamięci podręcznej

Dodaj pliki danych do DVC

$ dvc add data.csv

100% Adding...|====================|1/1 [00:00, 53.55file/s]

To track the changes with git, run:
    git add data.csv.dvc
To enable auto staging, run:
    dvc config core.autostage true

Pliki .dvc

Każdy śledzony plik DVC ma odpowiadający mu plik .dvc
- data.csv -> data.csv.dvc
Aby wersjonować plik danych, użyj git commit -m "data.csv.dvc"
Zawartość plików .dvc

outs:

- md5: f38a850818377e97155d22755caa39d0

  size: 16

  hash: md5

  path: data.csv

Interakcja z pamięcią podręczną DVC

Ścieżka pliku w pamięci podręcznej używa wartości MD5

$ find .dvc/cache -type f

.dvc/cache/f3/8a850818377e97155d22755caa39d0

Oblicz MD5 zbioru danych

$ md5 data.csv

MD5 (data.csv) = f38a850818377e97155d22755caa39d0

Interakcja z pamięcią podręczną DVC

Użyj dvc add -v dla szczegółowych informacji

Obraz wyjścia z polecenia dvc add z flagą -v

Usuwanie plików i czyszczenie pamięci podręcznej

Usuń dodane pliki za pomocą dvc remove

$ dvc remove data.csv.dvc

Aby wyczyścić pamięć podręczną, użyj dvc gc
- Użyj flagi -w, aby usunąć pamięć podręczną przestrzeni roboczej

$ dvc gc -w

WARNING: This will remove all cache except items used in the workspace of the current repo.
Are you sure you want to proceed? [y/n]: y
Removed 1 objects from repo cache.

Podsumowanie

Pamięć podręczna DVC przechowuje pliki przed zatwierdzeniem
Konfiguracja lokalizacji pamięci podręcznej
- dvc cache dir ~/mycache
Dodawanie plików do pamięci podręcznej
- dvc add data.csv
- Tworzy plik .dvc z metadanymi
Usuń dodane pliki: dvc remove data.csv.dvc
- Wyczyść pamięć podręczną za pomocą dvc gc -w

Czas na ćwiczenia!

Wprowadzenie do wersjonowania danych z DVC