Кеш DVC і проміжні файли

Вступ до керування версіями даних із DVC

Ravi Bhadauria

Machine Learning Engineer

Кеш DVC

Приховане сховище для відстежуваних файлів даних і їх версій
Готує тимчасові файли до фіксації
- Особливо для великих наборів даних і бінарних файлів
Знаходиться в каталозі .dvc робочого простору
- Налаштувати розташування
```
$ dvc cache dir ~/mycache
```

Зображення структури DVC у робочому просторі

Додавання файлів до кешу

Додайте файли даних до dvc

$ dvc add data.csv

100% Adding...|====================|1/1 [00:00, 53.55file/s]

To track the changes with git, run:
    git add data.csv.dvc
To enable auto staging, run:
    dvc config core.autostage true

Файли .dvc

Кожен файл, що відстежується DVC, має відповідний файл .dvc
- data.csv -> data.csv.dvc
Щоб версіювати файл даних, використайте git commit -m "data.csv.dvc"
Вміст файлів .dvc

outs:

- md5: f38a850818377e97155d22755caa39d0

  size: 16

  hash: md5

  path: data.csv

Взаємодія з кешем DVC

Шлях до файлу кешу використовує значення MD5

$ find .dvc/cache -type f

.dvc/cache/f3/8a850818377e97155d22755caa39d0

Обчисліть MD5 для набору даних

$ md5 data.csv

MD5 (data.csv) = f38a850818377e97155d22755caa39d0

Взаємодія з кешем DVC

Використайте dvc add -v для докладного виводу

Зображення виводу команди dvc add з прапорцем -v

Вилучення й очищення кешу

Видаляйте додані файли за допомогою dvc remove

$ dvc remove data.csv.dvc

Щоб очистити кеш, скористайтеся dvc gc
- Додайте прапорець -w, щоб очистити кеш робочого простору

$ dvc gc -w

WARNING: This will remove all cache except items used in the workspace of the current repo.
Are you sure you want to proceed? [y/n]: y
Removed 1 objects from repo cache.

Підсумок

Кеш DVC готує файли даних перед фіксацією
Налаштуйте розташування кешу
- dvc cache dir ~/mycache
Додавайте файли до кешу
- dvc add data.csv
- Створює файл .dvc з метаданими
Видаліть додані файли dvc remove data.csv.dvc
- Очистіть кеш робочого простору dvc gc -w

Давайте потренуємось!

Вступ до керування версіями даних із DVC