Driftsäkerhet i företagsmiljö

Fallstudie: Försäljningsanalys med Databricks Genie

Stan Konkin

ML Content Developer, DataCamp

Från fungerande till pålitlig

En Genie-space som används av hela säljavdelningen, med en driftsäkerhetssköld och en VP som granskar den, DataCamp navy och grön stil

 

  • Space används nu av hela säljavdelningen
  • VP vill ha driftsäkerhet innan full utrullning
  • Inga nya tabeller, bara stabilisering
Fallstudie: Försäljningsanalys med Databricks Genie

Driftsäkerhet är en cykel

En fyrastegs-cykel – granska, diagnostisera, justera, verifiera – ritad som en sluten piloop, DataCamp navy och grön stil

 

  • Granska konversationer och betyg
  • Diagnostisera vad som gick fel
  • Justera rätt inställning
  • Verifiera åtgärden i chatten
Fallstudie: Försäljningsanalys med Databricks Genie

Börja med att diagnostisera i Monitor

$$ SCREENSHOT: The Genie Monitor tab showing a list of conversations with thumbs-up and thumbs-down ratings, filtered to the thumbs-down ones

 

$$

$$

  • Fliken Monitor loggar verkliga konversationer
  • Filtrera på tummen-ned-svar
  • Läs igenom varje genererad SQL
Fallstudie: Försäljningsanalys med Databricks Genie

Två fel, två orsaker

Två ikoner – en frågeteckenikon som visar ett driftat värde och en överkorsad definition som betyder odefinierat begrepp

 

  • Månadstrend driftar → lös formel
  • "Premium" odefinierat → Genie gissar
  • Olika fel kräver olika åtgärder
Fallstudie: Försäljningsanalys med Databricks Genie

Åtgärd ett: lås trenden

Ett månadsdiagram som låses fast med ett grönt hänglås så att det slutar variera, DataCamp navy och grön stil

 

  • Lös formel → lås med ett SQL-exempel
  • Genie återanvänder exakt beräkning
  • Samma trend vid varje körning
Fallstudie: Försäljningsanalys med Databricks Genie

Åtgärd två: definiera begreppet

En tydlig regel som läggs till i en instruktionslista och fastställer innebörden av ett affärsbegrepp, DataCamp navy och grön stil

 

  • Saknad definition → textinstruktion
  • Definiera begreppet en gång, exakt
  • Tillämpas på varje premiumfråga
Fallstudie: Försäljningsanalys med Databricks Genie

Håll driftsäkerheten över tid

$$

$$

SCREENSHOT: The Genie Benchmark tab listing fixed questions each paired with a ground-truth SQL answer

 

$$

$$

  • Para frågor med känd korrekt SQL
  • Kör om efter varje ändring
  • Fånga regressioner innan ledningen gör det
Fallstudie: Försäljningsanalys med Databricks Genie

Vad gör en space produktionsklar

En central dashboard med grön bock, omgiven av märkta ikoner för benchmark, tydliga definitioner, monitor och låsta formler

 

  • Låsta formler och tydliga definitioner
  • Övervakad och benchmarkad
  • Så förtjänar en space förtroende
Fallstudie: Försäljningsanalys med Databricks Genie

Nu kör vi en övning!

Fallstudie: Försäljningsanalys med Databricks Genie

Preparing Video For Download...