Enterprise-Zuverlässigkeit

Fallstudie: Sales Analytics mit Databricks Genie

Stan Konkin

ML Content Developer, DataCamp

Von „funktioniert" zu „vertrauenswürdig"

Ein Genie-Space, der nun über eine ganze Sales-Etage genutzt wird, mit einem Zuverlässigkeitsschild darüber und einer VP-Figur, die ihn prüft, im DataCamp-Navy-und-Grün-Stil

Space dient jetzt ganz Sales
VP will Zuverlässigkeit vor dem Rollout
Keine neuen Tabellen, nur Härtung

Zuverlässigkeit ist ein Kreislauf

Ein Vier-Schritte-Zyklus: prüfen, diagnostizieren, kuratieren, verifizieren, als sauberer Pfeilkreis im DataCamp-Navy-und-Grün-Stil

Gespräche und Bewertungen prüfen
Diagnose: Was lief schief?
Den richtigen Hebel kuratieren
Fix im Chat verifizieren

Starte mit der Diagnose in Monitor

$$ SCREENSHOT: Der Genie-Tab Monitor mit einer Liste von Gesprächen mit Daumen-hoch- und Daumen-runter-Bewertungen, gefiltert auf die mit Daumen runter

Tab „Monitor" protokolliert echte Gespräche
Auf Daumen-runter-Antworten filtern
Jedes generierte SQL lesen

Zwei Fehler, zwei Ursachen

Zwei Icons: ein Fragezeichen mit wechselnden Zahlen für Drift der Werte, daneben eine durchgestrichene Definition für einen undefinierten Begriff

Monatstrend driftet → lockere Formel
„Premium" undefiniert → Genie rät
Unterschiedliche Fehler, unterschiedliche Fixes

Fix eins: Trend festzurren

Ein monatliches Liniendiagramm wird mit einem grünen Schloss fixiert, damit es sich nicht mehr verschiebt, im DataCamp-Navy-und-Grün-Stil

Lockere Formel → mit SQL-Beispiel fixieren
Genie nutzt die exakte Berechnung erneut
Gleicher Trend bei jedem Lauf

Fix zwei: Begriff definieren

Eine klare Regel wird zu einer Anweisungsliste hinzugefügt und legt die Bedeutung eines Business-Begriffs fest, im DataCamp-Navy-und-Grün-Stil

Fehlende Definition → Textinstruktion
Begriff einmal, präzise definieren
Gilt für jede Premium-Frage

Über die Zeit zuverlässig halten

SCREENSHOT: Der Genie-Tab Benchmark listet festgelegte Fragen, jeweils mit einer als korrekt bekannten SQL-Antwort gepaart

Fragen mit bekannt korrektem SQL paaren
Nach jeder Änderung neu laufen lassen
Regression finden, bevor es die Leitung tut

Wann ein Space produktionsreif ist

Ein zentrales Dashboard mit grünem Häkchen, umgeben von beschrifteten Icons für Benchmark, klare Definitionen, Monitor und gesperrte Formeln

Feste Formeln, klare Definitionen
Überwacht und gebenchmarkt
So gewinnt ein Space Vertrauen

Lass uns üben!

Fallstudie: Sales Analytics mit Databricks Genie