Benchmarking a průběžné zlepšování

Introduction to Databricks Genie

Gang Wang

Senior Data Scientist

Co je benchmarking

Otázky a odpovědi Gold Standard

• Vypočítá přesnost

Frekvence benchmarkingu

• 10–20 otázek Gold Standard – od jednoduchých počtů po složité Trusted KPIs
• Spouštěj během vývoje – denně nebo po každé významné změně kurátorství
• Po změnách schématu spusť celou sadu okamžitě při přidání nových tabulek nebo sloupců
• V produkci – spouštěj týdně nebo měsíčně jako kontrolu stavu

Interpretace výsledků

• Míra úspěšnosti ti dává celkové skóre
• Skutečná hodnota spočívá v analýze selhání
• „Total sales by city" projde, ale „Total revenue by municipality" selže?
• Genie potřebuje synonyma, ne změnu logiky
• Porovnej Expected SQL vs Generated SQL a najdi rozdíl

Prioritizace oprav

• Identifikuj vzory selhání ve výsledcích benchmarku
• Přejdi z výsledku do nabídky kurátorství a přidej synonyma a příklady
• Prioritizuj podle četnosti a obchodního dopadu
• Opravuj nejprve nejčastější a nejvýznamnější selhání

Cyklus průběžného zlepšování

$$

Krok 1: Sestav testovací sadu otázek Gold Standard.

Cyklus průběžného zlepšování

$$

Krok 2: Spusť benchmark a interpretuj výsledky. Co selhalo a proč?

Cyklus průběžného zlepšování

$$

Krok 3: Prioritizuj a kurátorsky oprav pomocí synonym, vztahů nebo SQL příkladů.

Cyklus průběžného zlepšování

$$

Krok 4: Ověř zlepšení opětovným spuštěním benchmarku. Před nasazením potvrď, že přesnost vzrostla.

Škálování napříč organizací

• Centralizuj data a oprávnění pomocí Unity Catalog
• Používej Trusted Assets pro celofiremní KPIs
• Přístup Editor vyhraď proškoleným správcům dat (Data Stewards)
• Vyžaduj zpětnou vazbu palcem nahoru/dolů
• Pravidelně spouštěj benchmarky a hlídej pokles přesnosti

Pojďme cvičit!

Introduction to Databricks Genie