Надёжность на уровне предприятия

Практический пример: аналитика продаж с Databricks Genie

Stan Konkin

ML Content Developer, DataCamp

От рабочего к надёжному

Пространство Genie, используемое всем отделом продаж, с иконкой щита надёжности и фигурой вице-президента, просматривающего его, в стиле DataCamp — тёмно-синий и зелёный

 

  • Пространство обслуживает весь отдел продаж
  • Вице-президент требует надёжности перед полным запуском
  • Новых таблиц нет — только укрепление системы
Практический пример: аналитика продаж с Databricks Genie

Надёжность — это цикл

Цикл из четырёх шагов: анализ, диагностика, настройка, проверка — изображён в виде замкнутой петли стрелок, в стиле DataCamp — тёмно-синий и зелёный

 

  • Анализируйте диалоги и оценки
  • Диагностируйте причину ошибки
  • Настройте нужный инструмент
  • Проверьте исправление в чате
Практический пример: аналитика продаж с Databricks Genie

Начните с диагностики в Monitor

$$ SCREENSHOT: The Genie Monitor tab showing a list of conversations with thumbs-up and thumbs-down ratings, filtered to the thumbs-down ones

 

$$

$$

  • Вкладка Monitor записывает реальные диалоги
  • Фильтруйте по ответам с отрицательной оценкой
  • Изучите каждый сгенерированный SQL
Практический пример: аналитика продаж с Databricks Genie

Два сбоя — две причины

Две иконки: знак вопроса с разными числами — значение плавает; перечёркнутое определение — термин не задан

 

  • Месячный тренд плавает → нечёткая формула
  • «Premium» не определён → Genie угадывает
  • Разные сбои требуют разных решений
Практический пример: аналитика продаж с Databricks Genie

Первое исправление: зафиксируйте тренд

Линейный месячный график, зафиксированный зелёным замком, чтобы он перестал смещаться, в стиле DataCamp — тёмно-синий и зелёный

 

  • Нечёткая формула → зафиксируйте примером SQL
  • Genie переиспользует точный расчёт
  • Одинаковый тренд при каждом запуске
Практический пример: аналитика продаж с Databricks Genie

Второе исправление: определите термин

Чёткое правило, добавляемое в список инструкций и закрепляющее смысл бизнес-термина, в стиле DataCamp — тёмно-синий и зелёный

 

  • Отсутствующее определение → текстовая инструкция
  • Определите термин один раз и точно
  • Применяется к каждому вопросу о premium
Практический пример: аналитика продаж с Databricks Genie

Поддерживайте надёжность со временем

$$

$$

SCREENSHOT: The Genie Benchmark tab listing fixed questions each paired with a ground-truth SQL answer

 

$$

$$

  • Сопоставьте вопросы с заведомо верным SQL
  • Перезапускайте после каждого изменения
  • Выявляйте регрессию раньше руководства
Практический пример: аналитика продаж с Databricks Genie

Что делает пространство готовым к продакшену

Центральная панель с зелёной галочкой и иконками: бенчмарк, чёткие определения, мониторинг, зафиксированные формулы

 

  • Зафиксированные формулы и чёткие определения
  • Мониторинг и бенчмаркинг
  • Именно так пространство завоёвывает доверие
Практический пример: аналитика продаж с Databricks Genie

Давайте потренируемся!

Практический пример: аналитика продаж с Databricks Genie

Preparing Video For Download...