Étalonnage et amélioration continue

Introduction à Databricks Genie

Gang Wang

Senior Data Scientist

Qu'est-ce que l'étalonnage

Questions et réponses Gold Standard

  • Calcule la précision

recraft: half: Liste de tests avec voyants verts/rouges pour les questions, tableau de bord de tests automatisés, fiche de score qualité

Introduction à Databricks Genie

Fréquence d'étalonnage

recraft: half: Jeu d'évaluation type feuille de calcul avec colonnes pour question, SQL attendu, réponse attendue, cas de test organisés

  • 10 à 20 questions Gold Standard couvrant de simples comptages jusqu'aux KPI de confiance complexes
  • À exécuter pendant le développement : quotidiennement ou après chaque modification de curation importante
  • Après des changements de schéma exécutez immédiatement la suite complète lors de l'ajout de tables ou colonnes
  • En production : hebdomadaire ou mensuel comme contrôle d'intégrité
Introduction à Databricks Genie

Interpréter les résultats

  • Le taux de réussite donne un score global
  • La vraie valeur vient de l'analyse des échecs
  • « Total des ventes par ville » réussit, mais « Chiffre d'affaires total par commune » échoue ?
  • Cela signifie que Genie a besoin de synonymes, pas d'un changement de logique
  • Comparez le SQL attendu au SQL généré pour trouver l'écart

recraft: half: Tableau de bord des résultats avec un camembert à 75 % de réussite, requêtes échouées en rouge avec diagnostics, pistes d'amélioration

Introduction à Databricks Genie

Prioriser les corrections

Matrice de priorités

  • Identifiez les motifs d'échec dans vos résultats d'étalon
  • Passez du résultat au menu Curation pour ajouter synonymes et exemples
  • Priorisez par fréquence et impact métier
  • Corrigez d'abord les échecs fréquents et à fort impact
Introduction à Databricks Genie

Cycle d'amélioration continue

Cycle d'amélioration

$$

Étape 1 : Construire votre suite de tests de questions Gold Standard.

Introduction à Databricks Genie

Cycle d'amélioration continue

Cycle d'amélioration

$$

Étape 2 : Exécuter et interpréter les résultats. Qu'est-ce qui a échoué et pourquoi ?

Introduction à Databricks Genie

Cycle d'amélioration continue

Cycle d'amélioration

$$

Étape 3 : Prioriser et affiner les corrections via synonymes, relations ou exemples SQL.

Introduction à Databricks Genie

Cycle d'amélioration continue

Cycle d'amélioration

$$

Étape 4 : Vérifier l'amélioration en relançant l'étalon. Confirmez la hausse de précision avant déploiement.

Introduction à Databricks Genie

Passer à l'échelle dans l'organisation

Montée en échelle de l'organisation

  • Centralisez données et autorisations avec Unity Catalog
  • Utilisez des Trusted Assets pour les KPI d'entreprise
  • Réservez l'accès Editor aux Data Stewards formés
  • Rendez obligatoire le retour pouce levé/pouce baissé
  • Exécutez des étalons réguliers pour détecter la dérive de précision
Introduction à Databricks Genie

Passons à la pratique !

Introduction à Databricks Genie

Preparing Video For Download...