Cache do DVC e arquivos de staging

Introdução ao Controle de Versão de Dados com DVC

Ravi Bhadauria

Machine Learning Engineer

Cache do DVC

  • Armazenamento oculto para arquivos de dados e versões rastreados
  • Mantém arquivos temporários até o commit
    • Prefira adicionar grandes conjuntos de dados e arquivos binários
  • Fica dentro do diretório .dvc no workspace
    • Configurar local
      $ dvc cache dir ~/mycache
      

Imagem da estrutura do DVC dentro do workspace

Introdução ao Controle de Versão de Dados com DVC

Adicionando arquivos ao cache

  • Adicionar arquivos de dados ao dvc
$ dvc add data.csv
100% Adding...|====================|1/1 [00:00, 53.55file/s]

To track the changes with git, run:
    git add data.csv.dvc
To enable auto staging, run:
    dvc config core.autostage true
Introdução ao Controle de Versão de Dados com DVC

Arquivos .dvc

  • Cada arquivo rastreado pelo DVC tem seu arquivo .dvc correspondente

    • data.csv -> data.csv.dvc
  • Para versionar o arquivo de dados, use git commit -m "data.csv.dvc"

  • Conteúdo dos arquivos .dvc

outs:

- md5: f38a850818377e97155d22755caa39d0
size: 16
hash: md5
path: data.csv
Introdução ao Controle de Versão de Dados com DVC

Interação com o cache do DVC

  • O caminho do arquivo no cache usa o valor MD5
$ find .dvc/cache -type f
.dvc/cache/f3/8a850818377e97155d22755caa39d0
  • Calcular o MD5 do conjunto de dados
$ md5 data.csv
MD5 (data.csv) = f38a850818377e97155d22755caa39d0
Introdução ao Controle de Versão de Dados com DVC

Interação com o cache do DVC

  • Use dvc add -v para saída detalhada

Imagem da saída ao executar dvc add com a flag -v

Introdução ao Controle de Versão de Dados com DVC

Removendo e limpando o cache

  • Remover arquivos adicionados usando dvc remove
$ dvc remove data.csv.dvc
  • Para limpar o cache, use dvc gc
    • Use com a flag -w para remover o cache do workspace
$ dvc gc -w
WARNING: This will remove all cache except items used in the workspace of the current repo.
Are you sure you want to proceed? [y/n]: y
Removed 1 objects from repo cache.
Introdução ao Controle de Versão de Dados com DVC

Resumo

  • O cache do DVC faz staging dos arquivos antes do commit
  • Configurar o local do cache
    • dvc cache dir ~/mycache
  • Adicionar arquivos ao cache
    • dvc add data.csv
    • Cria um arquivo .dvc com metadados
  • Remover arquivos adicionados dvc remove data.csv.dvc
    • Limpar o cache do workspace com dvc gc -w
Introdução ao Controle de Versão de Dados com DVC

Vamos praticar!

Introdução ao Controle de Versão de Dados com DVC

Preparing Video For Download...