Configuração e inicialização do DVC

Introdução ao Controle de Versão de Dados com DVC

Ravi Bhadauria

Machine Learning Engineer

Instalação

  • DVC é um pacote Python
    • Instale globalmente com pip
$ pip install dvc
  • Lembre de instalar em ambientes virtuais
  • Verifique se o Git está instalado
Introdução ao Controle de Versão de Dados com DVC

Verificar a instalação

$ dvc version
DVC version: 3.40.1 (pip)

Platform: Python 3.9.16 on macOS-14.2.1-arm64-arm-64bit
Config: Global: /Users/<username>/Library/Application Support/dvc System: /Library/Application Support/dvc
Repo: dvc, git
1 https://dvc.org/doc/command-reference/version
Introdução ao Controle de Versão de Dados com DVC

Inicializando o DVC

  • Garanta que o Git foi inicializado
$ git init
Initialized empty Git repository in /path/to/repo/.git/
  • Inicialize o DVC no repositório
$ dvc init
Initialized DVC repository.

You can now commit the changes to git.
1 https://dvc.org/doc/command-reference/init
Introdução ao Controle de Versão de Dados com DVC

Arquivos ocultos do DVC

  • A inicialização cria arquivos internos que devem ser rastreados pelo Git
$ git status
Changes to be committed:
  (use "git rm --cached <file>..." to unstage)
    new file:   .dvc/.gitignore
    new file:   .dvc/config
    new file:   .dvcignore
  • Faça o commit das alterações
$ git commit -m "initialized dvc"
Introdução ao Controle de Versão de Dados com DVC

Arquivo .dvcignore

  • Semelhante ao arquivo .gitignore

    • Segue o mesmo padrão
    • Lista arquivos/diretórios que o DVC vai ignorar
  • Útil ao rastrear muitos arquivos de dados desnecessários

    • Melhora o tempo de execução das operações do DVC
1 https://dvc.org/doc/user-guide/project-structure/dvcignore-files 2 https://git-scm.com/docs/gitignore
Introdução ao Controle de Versão de Dados com DVC

Exemplo

# .dvcignore
# Ignore all files in the 'data' directory
data/*

# But don't ignore 'data/data.csv' !data/data.csv
# Ignore all .tmp files *.tmp
1 https://dvc.org/doc/user-guide/project-structure/dvcignore-files
Introdução ao Controle de Versão de Dados com DVC

Verificando arquivos ignorados

  • Use o comando dvc check-ignore
$ dvc check-ignore data/file.txt
data/file.txt
  • Use com a flag -d para ver detalhes
$ dvc check-ignore -d data/file.txt
.dvcignore:3:data/*    data/file.txt
1 https://dvc.org/doc/command-reference/check-ignore
Introdução ao Controle de Versão de Dados com DVC

Resumo

  • Instale o DVC com pip install dvc
  • Verifique versão, plataforma etc. do DVC
    • dvc version
  • Inicialize o DVC no workspace
    • dvc init
    • Inicialize o Git antes
  • Arquivos .dvcignore definem exclusões
    • Semelhante ao .gitignore, mesma sintaxe
    • Verifique se um arquivo está excluído
      • dvc check-ignore <filename>
Introdução ao Controle de Versão de Dados com DVC

Vamos praticar!

Introdução ao Controle de Versão de Dados com DVC

Preparing Video For Download...