Налаштування DVC Remotes

Вступ до керування версіями даних із DVC

Ravi Bhadauria

Machine Learning Engineer

Підсумок

Ініціалізація репозиторію DVC
- Запустіть dvc init
- Репозиторій усередині робочої теки (/path/to/my-project)
Налаштування кешу DVC
- Тимчасова зона підготовки в теці .dvc
  - /path/to/my-project/.dvc/cache
- Поетапно додавайте файли за допомогою dvc add
Тепер: DVC Remotes
- Зовнішнє сховище
- Відстеження й обмін артефактами

DVC Remotes: місце зберігання даних
Подібні до Git remotes, але для кешованих даних
Переваги використання remotes
- Синхронізація великих файлів і тек
- Централізувати або розподіляти сховище даних
- Заощаджувати місцевий простір

Схема руху даних від робочого простору DVC до кешу та remote

Графіка підтримуваних типів сховищ у DVC

$ dvc remote add s3_remote \
   s3://mys3bucket

 ['remote "s3_remote"']
     url = s3://mys3bucket

$ dvc remote add gcp_remote \
   gs://myGCPbucket

$ dvc remote add azure_remote \
   azure://mycontainer/path

$ dvc remote add mylocalremote /tmp/dvc

$ dvc remote add -d mylocalremote /tmp/dvc

[core]
remote = mylocalremote

$ dvc remote list

s3_remote    s3://mys3bucket
local_remote /tmp/dvcremote

 ['remote "s3_remote"']
     url = s3://mys3bucket
 ['remote "local_remote"']
     url = /tmp/dvcremote

$ dvc remote modify s3_remote connect_timeout 300

 ['remote "s3_remote"']
     url = s3://mys3bucket
     connect_timeout = 300

DVC remotes використовують для спільного доступу до даних і ML‑моделей
Підтримуються різні локальні й хмарні сховища
Додавання remotes: dvc remote add
- Використайте прапорець -d для значення за замовчуванням
Список remotes: dvc remote list
Зміна remotes: dvc remote modify

Вступ до керування версіями даних із DVC