Benchmarking und kontinuierliche Verbesserung

Einführung in Databricks Genie

Gang Wang

Senior Data Scientist

Was ist Benchmarking

Goldstandard-Fragen und -Antworten

• Berechnet Genauigkeit

Benchmarking-Häufigkeit

• 10–20 Goldstandard-Fragen von einfachen Counts bis zu komplexen Trusted-KPIs
• Während der Entwicklung ausführen – täglich oder nach jeder größeren Kurationsänderung
• Nach Schemaänderungen die komplette Suite sofort ausführen, wenn neue Tabellen oder Spalten hinzukommen
• In Produktion – wöchentlich oder monatlich als Health-Check ausführen

Ergebnisse interpretieren

• Pass-Rate liefert dir einen Headline-Score
• Der echte Wert liegt in der Auswertung der Fehler
• „Total sales by city" besteht, aber „Total revenue by municipality" fällt durch?
• Dann braucht Genie Synonyme, keine Logikänderung
• Vergleiche Expected SQL mit Generated SQL, um die Lücke zu finden

Fixes priorisieren

• Erkenne Fehlermuster in deinen Benchmarks
• Springe vom Ergebnis ins Curation-Menü, um Synonyme und Beispiele hinzuzufügen
• Priorisiere nach Häufigkeit und Business Impact
• Behebe zuerst häufige, wirkungsstarke Fehler

Kontinuierlicher Verbesserungszyklus

$$

Schritt 1: Erstellen deiner Testsuite mit Goldstandard-Fragen.

Kontinuierlicher Verbesserungszyklus

$$

Schritt 2: Ausführen und Ergebnisse interpretieren. Was ist fehlgeschlagen und warum?

Kontinuierlicher Verbesserungszyklus

$$

Schritt 3: Priorisieren und Fixes kuratieren – mit Synonymen, Beziehungen oder SQL-Beispielen.

Kontinuierlicher Verbesserungszyklus

$$

Schritt 4: Verifizieren – Benchmark erneut ausführen. Bestätige höhere Genauigkeit vor dem Deployen.

Skalierung in der gesamten Organisation

• Daten und Berechtigungen mit dem Unity Catalog zentralisieren
• Trusted Assets für unternehmensweite KPIs nutzen
• Editor-Zugriff nur für geschulte Data Stewards reservieren
• Daumen hoch/Daumen runter-Feedback verpflichtend machen
• Regelmäßige Benchmarks ausführen, um Genauigkeitsdrift zu erkennen

Lass uns üben!

Einführung in Databricks Genie