Работа с удалёнными хранилищами DVC

CI/CD для машинного обучения

Ravi Bhadauria

Machine Learning Engineer

Знакомство с удалёнными хранилищами DVC

Удалённые хранилища DVC: место хранения данных
Похожи на Git-ремоуты, но для кешированных данных
Преимущества удалённых хранилищ
- Синхронизация больших файлов и каталогов
- Централизованное или распределённое хранение данных
- Экономия локального пространства
Поддерживаемые типы хранилищ
- Amazon S3, GCS, Google Drive
- SSH, HTTP, локальные файловые системы

dvc remote add myAWSremote s3://mybucket

dvc remote modify myAWSremote connect_timeout 300

 ['remote "myAWSremote"']
     url = s3://mybucket
     connect_timeout = 300

dvc remote add mylocalremote /tmp/dvc

dvc remote add -d mylocalremote /tmp/dvc

[core]
remote = mylocalremote

Команды для передачи данных
- Загрузить в хранилище: dvc push <target>
- Скачать из хранилища: dvc pull <target>
Аналогично git push и git pull
- Файлы .dvc отслеживаются Git, а не DVC
Цель может быть отдельным файлом: dvc push data.csv
- Или весь кеш: dvc push
Переопределение хранилища по умолчанию с флагом -r

dvc push -r myAWSremote data.csv

dvc add /path/to/data/datafile

git add /path/to/datafile.dvc
git commit /path/to/datafile.dvc -m "Dataset updates"

git push origin main

dvc push

CI/CD для машинного обучения