Configurando DVC Remotes

Introdução ao Controle de Versão de Dados com DVC

Ravi Bhadauria

Machine Learning Engineer

Recapitulando

Inicializando o repositório DVC
- Execute dvc init
- Repositório dentro do workspace (/path/to/my-project)
Configurando o cache do DVC
- Área de staging temporária no diretório .dvc
  - /path/to/my-project/.dvc/cache
- Faça staging de arquivos temporários com dvc add
Agora: DVC Remotes
- Armazenamento externo
- Rastrear e compartilhar assets

DVC Remotes: local para armazenar dados
Parecido com Git remotes, mas para dados em cache
Benefícios de usar remotes
- Sincronizar arquivos e diretórios grandes
- Centralizar ou distribuir o armazenamento
- Economizar espaço local

Esquema do fluxo de dados do workspace DVC para cache e remote

Gráfico dos tipos de armazenamento compatíveis no DVC

$ dvc remote add s3_remote \
   s3://mys3bucket

 ['remote "s3_remote"']
     url = s3://mys3bucket

$ dvc remote add gcp_remote \
   gs://myGCPbucket

$ dvc remote add azure_remote \
   azure://mycontainer/path

$ dvc remote add mylocalremote /tmp/dvc

$ dvc remote add -d mylocalremote /tmp/dvc

[core]
remote = mylocalremote

$ dvc remote list

s3_remote    s3://mys3bucket
local_remote /tmp/dvcremote

 ['remote "s3_remote"']
     url = s3://mys3bucket
 ['remote "local_remote"']
     url = /tmp/dvcremote

$ dvc remote modify s3_remote connect_timeout 300

 ['remote "s3_remote"']
     url = s3://mys3bucket
     connect_timeout = 300

Introdução ao Controle de Versão de Dados com DVC