Confiabilidade em escala

Estudo de Caso: Análise de Vendas com Databricks Genie

Stan Konkin

ML Content Developer, DataCamp

De funcional a confiável

Um espaço do Genie agora usado por todo o time de Vendas, com um escudo de confiabilidade e uma pessoa VP avaliando, no estilo azul marinho e verde da DataCamp

 

  • O espaço agora atende todo Vendas
  • VP quer confiabilidade antes do rollout total
  • Sem novas tabelas, só reforço
Estudo de Caso: Análise de Vendas com Databricks Genie

Confiabilidade é um ciclo

Um ciclo de quatro etapas — revisar, diagnosticar, curar e verificar — desenhado como um loop limpo de setas, no estilo azul marinho e verde da DataCamp

 

  • Revisar conversas e avaliações
  • Diagnosticar o que falhou
  • Curar o ajuste certo
  • Verificar a correção no chat
Estudo de Caso: Análise de Vendas com Databricks Genie

Comece diagnosticando no Monitor

$$ CAPTURA DE TELA: A aba Genie Monitor mostrando uma lista de conversas com avaliações de positivo e negativo, filtrada para as negativas

 

$$

$$

  • Aba Monitor registra conversas reais
  • Filtre para respostas com polegar para baixo
  • Leia cada SQL gerado
Estudo de Caso: Análise de Vendas com Databricks Genie

Duas falhas, duas causas

Dois ícones: um ponto de interrogação com números variando (valor deriva) e outro com uma definição riscada (termo indefinido)

 

  • Tendência mensal deriva → fórmula solta
  • "Premium" indefinido → Genie chuta
  • Falhas diferentes pedem correções diferentes
Estudo de Caso: Análise de Vendas com Databricks Genie

Correção 1: estabilize a tendência

Um gráfico mensal sendo travado com um cadeado verde para parar de oscilar, no estilo azul marinho e verde da DataCamp

 

  • Fórmula solta → trave com um exemplo SQL
  • Genie reutiliza o cálculo exato
  • Mesma tendência em toda execução
Estudo de Caso: Análise de Vendas com Databricks Genie

Correção 2: defina o termo

Uma regra clara sendo adicionada a uma lista de instruções, fixando o significado de um termo de negócio, no estilo azul marinho e verde da DataCamp

 

  • Falta de definição → instrução em texto
  • Defina o termo uma vez, com precisão
  • Vale para toda pergunta sobre premium
Estudo de Caso: Análise de Vendas com Databricks Genie

Mantenha confiável ao longo do tempo

$$

$$

CAPTURA DE TELA: A aba Genie Benchmark listando perguntas fixas, cada uma pareada com uma resposta SQL de referência

 

$$

$$

  • Emparelhe perguntas com SQL correto conhecido
  • Rode de novo após qualquer mudança
  • Pegue regressões antes da liderança
Estudo de Caso: Análise de Vendas com Databricks Genie

O que torna um espaço pronto para produção

Um painel central com um check verde, cercado por ícones rotulados de benchmark, definições claras, monitor e fórmulas travadas

 

  • Fórmulas travadas, definições claras
  • Monitorado e com benchmark
  • É assim que um espaço ganha confiança
Estudo de Caso: Análise de Vendas com Databricks Genie

Vamos praticar!

Estudo de Caso: Análise de Vendas com Databricks Genie

Preparing Video For Download...