Benchmarking och kontinuerlig förbättring

Introduktion till Databricks Genie

Gang Wang

Senior Data Scientist

Vad är benchmarking

Gold Standard-frågor och svar

Beräknar noggrannhet

recraft: half: Testsvitchecklista med gröna godkänt- och röda underkänt-indikatorer bredvid frågor, instrumentpanel för automatiserad testning, kvalitetspoängkort

Benchmarkingfrekvens

recraft: half: Kalkylbladsliknande utvärderingsdatamängd med kolumner för fråga, förväntad SQL, förväntat svar och organiserade testfall

10–20 Gold Standard-frågor som täcker allt från enkla räkningar till komplexa Trusted KPI:er
Kör under utveckling – dagligen eller efter varje betydande kurationsändring
Efter schemaändringar – kör hela sviten direkt när du lägger till nya tabeller eller kolumner
I produktion – kör vecko- eller månadsvis som hälsokontroll

Tolka resultat

Godkännandegrad ger en övergripande poäng
Verkligt värde ligger i att tolka felen
"Total försäljning per stad" godkänns, men "Total omsättning per kommun" underkänns?
Det betyder att Genie behöver Synonymer, inte en logikändring
Jämför Förväntad SQL med Genererad SQL för att hitta skillnaden

recraft: half: Resultatinstrumentpanel som visar ett cirkeldiagram med 75 procents godkännandegrad, misslyckade frågor markerade i rött med diagnostiknoteringar och förbättringsmöjligheter

Prioritera åtgärder

Prioritetsmatris

Identifiera felmönster i dina benchmarkresultat
Gå direkt från resultatet till kurationsmenyn för att lägga till synonymer och exempel
Prioritera efter frekvens och affärspåverkan
Åtgärda högfrekventa fel med hög påverkan först

Kontinuerlig förbättringscykel

Förbättringscykel

Steg 1: Bygg din testsvit med Gold Standard-frågor.

Kontinuerlig förbättringscykel

Förbättringscykel

Steg 2: Kör testerna och tolka resultaten. Vad misslyckades och varför?

Kontinuerlig förbättringscykel

Förbättringscykel

Steg 3: Prioritera och kurera åtgärder med synonymer, relationer eller SQL-exempel.

Kontinuerlig förbättringscykel

Förbättringscykel

Steg 4: Verifiera förbättringen genom att köra om benchmarken. Bekräfta att noggrannheten ökat innan du driftsätter.

Skalning i organisationen

Skalning av organisation

Centralisera data och behörigheter med Unity Catalog
Använd Trusted Assets för företagsövergripande KPI:er
Reservera Editor-åtkomst för utbildade dataförvaltare
Kräv tumme upp/tumme ned-feedback
Kör regelbundna benchmarks för att fånga upp noggrannhetsdrift

Nu kör vi en övning!

Introduktion till Databricks Genie