Benchmarking e melhoria contínua

Introdução ao Databricks Genie

Gang Wang

Senior Data Scientist

O que é benchmarking

Perguntas e respostas de Padrão Ouro

• Calcula a acurácia

Frequência do benchmarking

• 10–20 perguntas Padrão Ouro cobrindo de contagens simples a KPIs Confiáveis complexos
• Rodar durante o desenvolvimento — diariamente ou após cada mudança relevante na curadoria
• Após mudanças no esquema rode a suíte completa ao adicionar novas tabelas ou colunas
• Em produção — rode semanalmente ou mensalmente como check-up

Interpretando resultados

• Taxa de aprovação dá um score geral
• O real valor está em interpretar as falhas
• "Vendas totais por cidade" passa, mas "Receita total por município" falha?
• Isso indica que o Genie precisa de Sinônimos, não de mudança de lógica
• Compare SQL esperado vs SQL gerado para achar a lacuna

Priorizando correções

• Identifique padrões de falha nos resultados do benchmark
• Pule do resultado para o menu Curadoria para adicionar sinônimos e exemplos
• Priorize por frequência e impacto no negócio
• Corrija primeiro as falhas de alta frequência e alto impacto

Ciclo de melhoria contínua

$$

Etapa 1: Construir sua suíte de testes com perguntas Padrão Ouro.

Ciclo de melhoria contínua

$$

Etapa 2: Executar e interpretar resultados. O que falhou e por quê?

Ciclo de melhoria contínua

$$

Etapa 3: Priorizar e curar correções usando sinônimos, relações ou exemplos de SQL.

Ciclo de melhoria contínua

$$

Etapa 4: Verificar a melhoria reexecutando o benchmark. Confirme que a acurácia subiu antes de implantar.

Escalando pela organização

• Centralize dados e permissões com o Unity Catalog
• Use Trusted Assets para KPIs da empresa toda
• Reserve acesso de Editor para Data Stewards treinados
• Exija feedback de joinha/negativo
• Rode benchmarks regulares para detectar deriva de acurácia

Vamos praticar!

Introdução ao Databricks Genie