Benchmarking e miglioramento continuo

Introduzione a Databricks Genie

Gang Wang

Senior Data Scientist

Che cos'è il benchmarking

Gold Standard domande e risposte

• Calcola l'accuracy

Frequenza del benchmarking

• 10-20 domande Gold Standard dalle semplici conte ai KPI Affidabili complessi
• Esegui in sviluppo: ogni giorno o dopo modifiche di curation rilevanti
• Dopo cambi di schema esegui subito la suite completa quando aggiungi nuove tabelle o colonne
• In produzione: settimanale o mensile come health check

Interpretare i risultati

• Il pass rate ti dà un punteggio sintetico
• Il vero valore sta nell'interpretare i fail
• «Total sales by city» passa, ma «Total revenue by municipality» fallisce?
• Significa che a Genie servono Sinonimi, non un cambio di logica
• Confronta Expected SQL vs Generated SQL per trovare il gap

Dare priorità alle correzioni

• Identifica pattern di errore nei risultati del benchmark
• Vai dal risultato al menu Curation per aggiungere sinonimi ed esempi
• Dai priorità per frequenza e impatto sul business
• Risolvi prima i fail a alta frequenza e alto impatto

Ciclo di miglioramento continuo

$$

Step 1: Crea la tua suite di test con domande Gold Standard.

Ciclo di miglioramento continuo

$$

Step 2: Esegui e interpreta i risultati. Cosa è fallito e perché?

Ciclo di miglioramento continuo

$$

Step 3: Dai priorità e cura le correzioni con sinonimi, relazioni o esempi SQL.

Ciclo di miglioramento continuo

$$

Step 4: Verifica il miglioramento rieseguendo il benchmark. Conferma che l'accuracy è aumentata prima del deploy.

Scalare in tutta l'organizzazione

• Centralizza dati e permessi con Unity Catalog
• Usa Trusted Assets per i KPI aziendali
• Riserva l'accesso Editor ai Data Steward formati
• Richiedi feedback pollice su/giù
• Esegui benchmark regolari per cogliere drift di accuracy

Esercitiamoci!

Introduzione a Databricks Genie