Работа с удалёнными хранилищами DVC

Введение в версионирование данных с DVC

Ravi Bhadauria

Machine Learning Engineer

Загрузка и получение данных

Перемещение данных из кэша в удалённое хранилище DVC

$ dvc push <target>

$ dvc pull <target>

Цели — отдельные файлы

$ dvc push data.csv

Загрузка и получение данных

Отправить весь кэш

$ dvc push

Обновить кэш без изменения рабочего пространства

$ dvc fetch

Переопределить удалённое хранилище по умолчанию флагом -r

$ dvc push -r aws_remote data.csv

Сходство с Git

dvc pull

Функция: Загружает данные из удалённого хранилища в рабочее пространство DVC
Применение: Большие наборы данных или артефакты модели

dvc push

Функция: Отправляет данные в удалённое хранилище
Применение: Совместное использование или хранение артефактов данных

git pull

Функция: Получает и объединяет данные из удалённого репозитория Git
Применение: Синхронизация локальной ветки с удалённой

git push

Функция: Отправляет локальные изменения в удалённый репозиторий
Применение: Публикация изменений в удалённом репозитории Git

Версионирование данных

Файл .dvc отслеживается Git, а не DVC
Это позволяет переключаться на конкретную версию файла данных
Переключить файл .dvc

$ git checkout <commit_hash|tag|branch>

Получить данные по хешу MD5, указанному в файле .dvc

$ dvc checkout <target>

Отслеживание изменений данных

Изменить содержимое файла данных, затем зафиксировать изменения в наборе данных

$ dvc add <target>

Зафиксировать изменённый файл .dvc в Git

$ git add <target>.dvc
$ git commit <target>.dvc \
    -m "Dataset updates"

Отправить метаданные в Git

$ git push origin main

Загрузить изменённый файл данных

$ dvc push

Давайте потренируемся!

Введение в версионирование данных с DVC

Preparing Video For Download...