Enterprise-betrouwbaarheid

Casestudy: Sales Analytics met Databricks Genie

Stan Konkin

ML Content Developer, DataCamp

Van werkend naar vertrouwd

Een Genie-ruimte die nu de hele Salesvloer bedient, met een betrouwbaarheidschild erboven en een VP-figuur die deze bekijkt, in DataCamp marineblauw en groen

 

  • Ruimte bedient nu heel Sales
  • VP wil betrouwbaarheid vóór brede uitrol
  • Geen nieuwe tabellen, alleen hardening
Casestudy: Sales Analytics met Databricks Genie

Betrouwbaarheid is een lus

Een cyclus in vier stappen: reviewen, diagnosticeren, cureren en verifiëren, getekend als een nette pijllus, in DataCamp marineblauw en groen

 

  • Review de gesprekken en beoordelingen
  • Diagnoseer wat misging
  • Cureer de juiste hefboom
  • Verifieer de fix in chat
Casestudy: Sales Analytics met Databricks Genie

Begin met diagnosticeren in Monitor

$$ SCHERMAFBEELDING: Het Genie-tabblad Monitor met een lijst gesprekken met duimpje-omhoog en -omlaag, gefilterd op de duimpje-omlaag

 

$$

$$

  • Tabblad Monitor logt echte gesprekken
  • Filter op antwoorden met duimpje-omlaag
  • Lees elke gegenereerde SQL
Casestudy: Sales Analytics met Databricks Genie

Twee fouten, twee oorzaken

Twee pictogrammen: een vraagteken met wisselende cijfers (waarde verschuift) en een doorgehaalde definitie (term is ongedefinieerd)

 

  • Maandtrend drijft → vage formule
  • "Premium" is ongedefinieerd → Genie raadt
  • Andere fouten vragen andere fixes
Casestudy: Sales Analytics met Databricks Genie

Fix één: vergrendel de trend

Een maandelijkse lijngrafiek wordt vastgezet met een groen hangslot zodat hij niet meer verschuift, in DataCamp marineblauw en groen

 

  • Vage formule → vergrendel met een SQL-voorbeeld
  • Genie hergebruikt exact die berekening
  • Zelfde trend, elke run
Casestudy: Sales Analytics met Databricks Genie

Fix twee: definieer de term

Een duidelijke regel wordt toegevoegd aan een lijst instructies, die de betekenis van een businessterm vastlegt, in DataCamp marineblauw en groen

 

  • Ontbrekende definitie → tekstinstructie
  • Definieer de term één keer, precies
  • Toegepast op elke premium-vraag
Casestudy: Sales Analytics met Databricks Genie

Houd het door de tijd heen betrouwbaar

$$

$$

SCHERMAFBEELDING: Het Genie-tabblad Benchmark met vaste vragen, elk gekoppeld aan een ground-truth SQL-antwoord

 

$$

$$

  • Koppel vragen aan bekend-correcte SQL
  • Draai opnieuw na elke wijziging
  • Vang een regressie vóór het leiderschap dat doet
Casestudy: Sales Analytics met Databricks Genie

Wanneer is een ruimte production-ready

Een centraal dashboard met een groen vinkje, omringd door iconen met labels voor benchmark, heldere definities, monitor en vergrendelde formules

 

  • Vergrendelde formules, heldere definities
  • Gemonitord en gebenchmarkt
  • Zo verdient een ruimte vertrouwen
Casestudy: Sales Analytics met Databricks Genie

Laten we oefenen!

Casestudy: Sales Analytics met Databricks Genie

Preparing Video For Download...