Parabéns!

Introdução ao Controle de Versão de Dados com DVC

Ravi Bhadauria

Machine Learning Engineer

Versionamento de dados e DVC

  • Anatomia de um modelo de Machine Learning
    • Código, dados e hiperparâmetros definem o modelo com precisão
    • Os três precisam ser rastreados e versionados
  • Git e DVC
    • Git rastreia código; DVC rastreia dados
    • Git rastreia metadados sobre os dados reais
  • O DVC permite
    • Versionar dados e modelos
    • Executar pipelines de experimentos reprodutíveis
    • Rastrear mudanças em métricas e gráficos
Introdução ao Controle de Versão de Dados com DVC

DVC: configuração, cache e remotos

  • Configuração
    • Instalar com pip install dvc
    • Inicializar com dvc init
    • Usar .dvcignore para controlar padrões de arquivos a rastrear
  • Cache
    • Adicionar arquivos com dvc add
    • Rastrear metadados com arquivos .dvc
    • Remover com dvc remove, limpar com dvc gc
  • Remotos
    • Configurar com dvc remote add, listar com dvc remote list
    • Enviar e baixar dados com dvc push e dvc pull
Introdução ao Controle de Versão de Dados com DVC

Pipelines no DVC

  • Anatomia do arquivo dvc.yaml

    • Use dvc stage add para adicionar estágios
    • Componentes: steps, commands, dependencies, params e outputs
    • Rastreie métricas e gráficos com as chaves metrics e plots

  • Visualizar e executar o DAG

    • Visualize com dvc dag
    • Execute com dvc repro

  • Mostrar e comparar métricas e gráficos

    • Visualize com dvc plots show e dvc metrics show
    • Compare com dvc plots diff e dvc metrics diff
Introdução ao Controle de Versão de Dados com DVC

Obrigado!

Introdução ao Controle de Versão de Dados com DVC

Preparing Video For Download...