Бенчмаркинг і безперервне поліпшення

Вступ до Databricks Genie

Gang Wang

Senior Data Scientist

Що таке бенчмаркинг

Питання та відповіді Gold Standard

Обчислює точність

recraft: half: Контрольний список тестів із зеленими «pass» і червоними «fail» біля запитань, панель автоматизованого тестування, картка якості

Частота бенчмаркингу

recraft: half: Табличний набір для оцінювання з колонками: запитання, очікуваний SQL, очікувана відповідь, організовані тести

10–20 запитань Gold Standard: від простих підрахунків до складних Trusted KPI
Під час розробки — щодня або після кожної суттєвої зміни кураторства
Після змін схеми — одразу запускайте повний набір, додаючи нові таблиці чи колонки
У продакшені — щотижня або щомісяця як перевірку стану

Інтерпретація результатів

Рівень проходження дає підсумковий бал
Справжня цінність — у тлумаченні збоїв
«Total sales by city» проходить, а «Total revenue by municipality» — ні?
Отже, Genie потрібні синоніми, а не зміна логіки
Порівняйте Expected SQL і Generated SQL, щоб знайти розрив

recraft: half: Панель результатів із круговою діаграмою 75% проходження, помилкові запити підсвічені червоним із нотатками діагностики, можливості поліпшення