Взаємодія з віддаленими сховищами DVC

Вступ до керування версіями даних із DVC

Ravi Bhadauria

Machine Learning Engineer

Вивантаження та отримання даних

Переміщення даних з кешу до віддаленого DVC

$ dvc push <target>

$ dvc pull <target>

Цілі — окремі файли

$ dvc push data.csv

Вивантаження та отримання даних

Надіслати весь кеш

$ dvc push

Оновити кеш без змін у робочій теці

$ dvc fetch

Перевизначити стандартний remote прапорцем -r

$ dvc push -r aws_remote data.csv

Подібності з Git

dvc pull

Функція: Завантажує дані з remote до робочого середовища DVC
Коли використовувати: Великі набори даних або артефакти моделей

dvc push

Функція: Вивантажує дані до віддаленого сховища
Коли використовувати: Обмін або зберігання артефактів даних

git pull

Функція: Отримання/злиття з віддаленого репозиторію Git
Коли використовувати: Синхронізувати локальну гілку з віддаленою

git push

Функція: Надсилає локальні зміни у віддалений репозиторій
Коли використовувати: Поділитися змінами у Git remote

Керування версіями даних

.dvc відстежує Git, а не DVC
Використайте це, щоб перейти на конкретну версію файлу даних
Зробіть checkout файла .dvc

$ git checkout <commit_hash|tag|branch>

Отримайте дані за MD5, вказаним у файлі .dvc

$ dvc checkout <target>

Відстеження змін у даних

Змініть вміст файлу даних, потім додайте зміни набору даних

$ dvc add <target>

Зафіксуйте змінений файл .dvc у Git

$ git add <target>.dvc
$ git commit <target>.dvc \
    -m "Dataset updates"

Надішліть метадані до Git

$ git push origin main

Завантажте змінений файл даних

$ dvc push

Давайте потренуємось!

Вступ до керування версіями даних із DVC

Preparing Video For Download...