Versionando conjuntos de dados com Data Version Control

CI/CD para Machine Learning

Ravi Bhadauria

Machine Learning Engineer

Por que versionar dados importa

  • Versionamento garante o histórico de mudanças nos dados
  • Versionar dados é essencial
    • Reprodutibilidade
    • Experimentação e iteração
    • Colaboração
    • Rastreamento e depuração de bugs
    • Monitoramento e manutenção de modelos
    • Auditoria e validação
CI/CD para Machine Learning

Data Version Control (DVC)

  • DVC: ferramenta de Data Version Control
    • Gerencia dados e experimentos
    • Parecido com Git

Imagem conceitual de versionamento de dados com Git e DVC.png

  • Git rastreia metadados; DVC cuida do versionamento dos dados
CI/CD para Machine Learning

Armazenamento no DVC

  • Dados armazenados separadamente
    • SSH, HTTP/HTTPS, sistema de arquivos local
    • Armazenamento de objetos da AWS, GCP e Azure
  • Instalar localmente
pip install dvc
CI/CD para Machine Learning

Inicializando o DVC

  • Inicialize o Git git init
  • Inicialize o DVC
-> dvc init
Initialized DVC repository.
You can now commit the changes to git.
  • Prepara os arquivos do projeto DVC, pronto para versionar dados
.dvc
|- .gitignore
|- config
|- tmp
CI/CD para Machine Learning

Adicionando arquivos ao DVC

  • Adicione arquivos de dados com o comando dvc add <file>
-> dvc add data.csv
  • Espaços reservados .dvc com metadados do arquivo são gerados
    • Cada arquivo rastreado pelo DVC tem seu .dvc correspondente (data.csv -> data.csv.dvc)
    • Inseridos no Git para gerenciar versões dos dados
  • O cache do DVC é preenchido em .dvc/cache
CI/CD para Machine Learning

Arquivos de dados do DVC

  • Arquivo de dados
-> cat data.csv
This is a sample data file.
  • Arquivo data.csv.dvc
-> cat data.csv.dvc
 outs:
 - md5: ea9972ac9f8fa321ea74969e93acc196

   size: 28

   hash: md5

   path: data.csv
CI/CD para Machine Learning

Resumo

  • Versionar dados garante reprodutibilidade e colaboração
  • DVC: ferramenta para gerenciar versionamento de dados, funciona com Git
  • Inicialize com dvc init, adicione arquivos com dvc add <file>
  • Arquivos .dvc guardam metadados; o Git rastreia versões
CI/CD para Machine Learning

Vamos praticar!

CI/CD para Machine Learning

Preparing Video For Download...