Interagindo com remotos do DVC

Introdução ao Controle de Versão de Dados com DVC

Ravi Bhadauria

Machine Learning Engineer

Enviar e recuperar dados

  • Mover dados do cache para o remoto do DVC
$ dvc push <target>

$ dvc pull <target>
  • Alvos são arquivos individuais
$ dvc push data.csv
Introdução ao Controle de Versão de Dados com DVC

Enviar e recuperar dados

  • Enviar todo o cache
$ dvc push
  • Atualizar o cache sem mudar o conteúdo do workspace
$ dvc fetch
  • Sobrescrever o remoto padrão com a flag -r
$ dvc push -r aws_remote data.csv
Introdução ao Controle de Versão de Dados com DVC

Similaridades com o Git

dvc pull

  • Função: Baixa dados remotos para o workspace do DVC

  • Uso: Conjuntos de dados grandes ou artefatos de modelo

dvc push

  • Função: Envia dados para o armazenamento remoto

  • Uso: Compartilhar ou armazenar artefatos de dados

git pull

  • Função: Buscar/mesclar dados do repositório Git remoto

  • Uso: Manter a branch local sincronizada com o remoto

git push

  • Função: Envia alterações locais para o remoto

  • Uso: Compartilhar alterações no remoto do Git

Introdução ao Controle de Versão de Dados com DVC

Versionando dados

  • .dvc é rastreado pelo Git, não pelo DVC

  • Use isso para fazer checkout de uma versão específica do arquivo de dados

  • Fazer checkout do arquivo .dvc

$ git checkout <commit_hash|tag|branch>
  • Recuperar dados com o MD5 especificado no arquivo .dvc
$ dvc checkout <target>
Introdução ao Controle de Versão de Dados com DVC

Acompanhando mudanças nos dados

  • Alterar o conteúdo do arquivo de dados e depois adicionar as mudanças do conjunto de dados
$ dvc add <target>
  • Fazer commit do arquivo .dvc alterado no Git
$ git add <target>.dvc
$ git commit <target>.dvc \
    -m "Dataset updates"
  • Enviar metadados para o Git
$ git push origin main
  • Enviar o arquivo de dados alterado
$ dvc push
Introdução ao Controle de Versão de Dados com DVC

Vamos praticar!

Introdução ao Controle de Versão de Dados com DVC

Preparing Video For Download...