Бенчмаркинг и непрерывное совершенствование

Введение в Databricks Genie

Gang Wang

Senior Data Scientist

Что такое бенчмаркинг

Вопросы и ответы Gold Standard

Позволяют рассчитать точность

recraft: half: Чек-лист тестового набора с зелёными и красными индикаторами прохождения тестов, панель автоматизированного тестирования, карточка качества

Частота бенчмаркинга

recraft: half: Набор данных для оценки в виде таблицы со столбцами для вопроса, ожидаемого SQL и ожидаемого ответа, структурированные тестовые случаи

10–20 вопросов Gold Standard — от простых подсчётов до сложных доверенных KPI
В процессе разработки — ежедневно или после каждого значимого изменения в курировании
После изменений схемы — запускайте полный набор сразу при добавлении новых таблиц или столбцов
В продакшне — еженедельно или ежемесячно в качестве проверки состояния

Интерпретация результатов

Процент прохождения даёт общую оценку
Главная ценность — в анализе ошибок
«Общие продажи по городу» проходит, а «Общая выручка по муниципалитету» — нет?
Это означает, что Genie нужны синонимы, а не изменение логики
Сравните ожидаемый SQL с сгенерированным SQL, чтобы найти расхождение

recraft: half: Панель результатов с круговой диаграммой — 75% прохождения, неудачные запросы выделены красным с пояснениями, возможности для улучшения

Расстановка приоритетов при исправлении

Матрица приоритетов

Выявите паттерны ошибок в результатах бенчмарка
Переходите из результатов в меню курирования, чтобы добавлять синонимы и примеры
Расставляйте приоритеты по частоте и бизнес-значимости
Исправляйте частые и критичные ошибки в первую очередь

Цикл непрерывного совершенствования

Цикл улучшений

Шаг 1: Создайте тестовый набор вопросов Gold Standard.

Цикл непрерывного совершенствования

Цикл улучшений

Шаг 2: Выполните тесты и проанализируйте результаты. Что не прошло и почему?

Цикл непрерывного совершенствования

Цикл улучшений

Шаг 3: Расставьте приоритеты и внесите исправления — добавьте синонимы, связи или примеры SQL.

Цикл непрерывного совершенствования

Цикл улучшений

Шаг 4: Проверьте улучшение, повторно запустив бенчмарк. Убедитесь, что точность возросла, прежде чем развёртывать изменения.

Масштабирование в организации

Централизуйте данные и права доступа с помощью Unity Catalog
Используйте доверенные ресурсы для KPI всей компании
Предоставляйте доступ уровня редактора только обученным стюардам данных
Обязательно собирайте обратную связь в формате «нравится/не нравится»
Регулярно запускайте бенчмарки для выявления снижения точности

Давайте потренируемся!

Введение в Databricks Genie