Benchmarking și îmbunătățire continuă

Introducere în Databricks Genie

Gang Wang

Senior Data Scientist

Ce este benchmarking-ul

Întrebări și răspunsuri Gold Standard

Calculează acuratețea

recraft: half: Listă de verificare a suitei de teste cu indicatori verzi (trecut) și roșii (eșuat) lângă întrebări, panou de testare automată, fișă de calitate

Frecvența benchmarking-ului

recraft: half: Set de date de evaluare în format foaie de calcul, cu coloane pentru întrebare, SQL așteptat, răspuns așteptat și cazuri de test organizate

10-20 întrebări Gold Standard – de la numărări simple la KPI-uri complexe
În timpul dezvoltării – zilnic sau după fiecare modificare semnificativă de curare
După modificări de schemă – rulează suita completă imediat când adaugi tabele sau coloane noi
În producție – rulează săptămânal sau lunar ca verificare de sănătate

Interpretarea rezultatelor

Rata de trecere îți oferă un scor general
Valoarea reală stă în interpretarea eșecurilor
„Total vânzări pe oraș" trece, dar „Total venituri pe municipiu" eșuează?
Înseamnă că Genie are nevoie de Sinonime, nu de o schimbare logică
Compară SQL așteptat cu SQL generat pentru a identifica diferența

recraft: half: Panou de rezultate cu diagramă circulară indicând 75% rată de trecere, interogări eșuate evidențiate în roșu cu note de diagnostic și oportunități de îmbunătățire

Prioritizarea remedierilor

Matrice de prioritizare

Identifică tipare de eșec în rezultatele benchmark-ului
Treci direct din rezultate la meniul Curation pentru a adăuga sinonime și exemple
Prioritizează după frecvență și impact în afaceri
Rezolvă mai întâi eșecurile cu frecvență ridicată și impact ridicat

Ciclul de îmbunătățire continuă

Ciclul de îmbunătățire

Pasul 1: Construiește suita de teste cu întrebări Gold Standard.

Ciclul de îmbunătățire continuă

Ciclul de îmbunătățire

Pasul 2: Execută și interpretează rezultatele. Ce a eșuat și de ce?

Ciclul de îmbunătățire continuă

Ciclul de îmbunătățire

Pasul 3: Prioritizează și curează remedierile cu sinonime, relații sau exemple SQL.

Ciclul de îmbunătățire continuă

Ciclul de îmbunătățire

Pasul 4: Verifică îmbunătățirea rulând din nou benchmark-ul. Confirmă că acuratețea a crescut înainte de implementare.

Scalare la nivel de organizație

Scalarea organizației

Centralizează datele și permisiunile cu Unity Catalog
Folosește Active de Încredere pentru KPI-urile la nivel de companie
Rezervă accesul Editor pentru Administratorii de Date instruiți
Impune feedback de tip like/dislike
Rulează benchmark-uri periodice pentru a detecta driftul de acuratețe

Hai să exersăm!

Introducere în Databricks Genie