Niezawodność w środowisku produkcyjnym

Studium przypadku: analiza sprzedaży z Databricks Genie

Stan Konkin

ML Content Developer, DataCamp

Od działającego do godnego zaufania

Przestrzeń Genie używana przez cały dział sprzedaży, z tarczą niezawodności i wiceprezesem przeglądającym wyniki, w stylu DataCamp w kolorach granatowym i zielonym

Przestrzeń obsługuje teraz cały dział sprzedaży
Wiceprezes wymaga niezawodności przed pełnym wdrożeniem
Żadnych nowych tabel — tylko wzmocnienie systemu

Niezawodność to pętla

Czteroetapowy cykl: przegląd, diagnoza, korekta, weryfikacja — narysowany jako zamknięta pętla strzałek, w stylu DataCamp w kolorach granatowym i zielonym

Przejrzyj rozmowy i oceny
Zdiagnozuj przyczynę błędu
Popraw właściwy element
Zweryfikuj poprawkę w czacie

Zacznij od diagnozy w Monitorze

$$ SCREENSHOT: The Genie Monitor tab showing a list of conversations with thumbs-up and thumbs-down ratings, filtered to the thumbs-down ones

Zakładka Monitor rejestruje rzeczywiste rozmowy
Filtruj do odpowiedzi z kciukiem w dół
Przeczytaj każde wygenerowane zapytanie SQL

Dwa błędy, dwie przyczyny

Dwie ikony: znak zapytania z różnymi wartościami oznaczający zmienność wyników oraz przekreślona definicja oznaczająca niezdefiniowany termin

Zmienny trend miesięczny → nieprecyzyjna formuła
„Premium" niezdefiniowane → Genie zgaduje
Różne błędy wymagają różnych poprawek

Pierwsza poprawka: zablokuj trend

Miesięczny wykres liniowy zablokowany zielonym kłódką, który przestaje się zmieniać, w stylu DataCamp w kolorach granatowym i zielonym

Nieprecyzyjna formuła → zablokuj przykładem SQL
Genie ponownie używa dokładnie tego samego obliczenia
Ten sam trend przy każdym uruchomieniu

Druga poprawka: zdefiniuj termin

Wyraźna reguła dodawana do listy instrukcji, precyzująca znaczenie terminu biznesowego, w stylu DataCamp w kolorach granatowym i zielonym

Brak definicji → instrukcja tekstowa
Zdefiniuj termin raz, precyzyjnie
Stosowana do każdego pytania o „premium"

Niezawodność w długim terminie

SCREENSHOT: The Genie Benchmark tab listing fixed questions each paired with a ground-truth SQL answer

Połącz pytania ze sprawdzonym zapytaniem SQL
Uruchamiaj ponownie po każdej zmianie
Wykryj regresję, zanim zrobi to kierownictwo

Co sprawia, że przestrzeń jest gotowa do wdrożenia

Centralne centrum z zielonym znacznikiem wyboru, otoczone ikonami: testy porównawcze, jasne definicje, monitor i zablokowane formuły

Zablokowane formuły, precyzyjne definicje
Monitorowanie i testy porównawcze
Tak przestrzeń zyskuje zaufanie

Czas na praktykę!

Studium przypadku: analiza sprzedaży z Databricks Genie