Benchmarking i ciągłe doskonalenie

Wprowadzenie do Databricks Genie

Gang Wang

Senior Data Scientist

Czym jest benchmarking?

Pytania i odpowiedzi wzorcowe (Gold Standard)

Oblicza dokładność

recraft: half: Test suite checklist with green pass and red fail indicators next to questions, automated testing dashboard, quality scorecard

Częstotliwość benchmarkingu

recraft: half: Spreadsheet-style evaluation dataset with columns for question, expected SQL, expected answer, organized test cases

10–20 pytań wzorcowych (Gold Standard) — od prostych liczników po złożone Trusted KPI
W trakcie tworzenia — codziennie lub po każdej istotnej zmianie w kuracji
Po zmianach schematu — uruchom pełny zestaw natychmiast po dodaniu tabel lub kolumn
W środowisku produkcyjnym — uruchamiaj co tydzień lub miesiąc jako kontrolę stanu

Interpretacja wyników

Wskaźnik zdanych testów to ogólny wynik
Prawdziwa wartość tkwi w analizie błędów
„Łączna sprzedaż według miasta" przechodzi, ale „Łączny przychód według gminy" nie?
To znaczy, że Genie potrzebuje synonimów, a nie zmiany logiki
Porównaj oczekiwany SQL z wygenerowanym SQL, by znaleźć lukę

recraft: half: Results dashboard showing 75 percent pass rate pie chart, failed queries highlighted in red with diagnosis notes, improvement opportunities