Настройка удалённых хранилищ DVC

Введение в версионирование данных с DVC

Ravi Bhadauria

Machine Learning Engineer

Повторение

Инициализация репозитория DVC
- Запустите dvc init
- Репозиторий в рабочем пространстве (/path/to/my-project)
Настройка кэша DVC
- Временная промежуточная область в каталоге .dvc
  - /path/to/my-project/.dvc/cache
- Временные файлы через dvc add
Далее: DVC Remotes
- Внешнее хранилище
- Отслеживание и совместное использование файлов

DVC Remotes: место хранения данных
Аналог Git-ремоутов, но для кэшированных данных
Преимущества использования
- Синхронизация больших файлов и каталогов
- Централизованное или распределённое хранение данных
- Экономия локального пространства

Схема потока данных из рабочего пространства DVC в кэш и удалённое хранилище

Графическое представление поддерживаемых типов хранилищ в DVC

$ dvc remote add s3_remote \
   s3://mys3bucket

 ['remote "s3_remote"']
     url = s3://mys3bucket

$ dvc remote add gcp_remote \
   gs://myGCPbucket

$ dvc remote add azure_remote \
   azure://mycontainer/path

$ dvc remote add mylocalremote /tmp/dvc

$ dvc remote add -d mylocalremote /tmp/dvc

[core]
remote = mylocalremote

$ dvc remote list

s3_remote    s3://mys3bucket
local_remote /tmp/dvcremote

 ['remote "s3_remote"']
     url = s3://mys3bucket
 ['remote "local_remote"']
     url = /tmp/dvcremote

$ dvc remote modify s3_remote connect_timeout 300

 ['remote "s3_remote"']
     url = s3://mys3bucket
     connect_timeout = 300

Введение в версионирование данных с DVC