Étalonnage et amélioration continue

Introduction à Databricks Genie

Gang Wang

Senior Data Scientist

Qu'est-ce que l'étalonnage

Questions et réponses « Gold Standard »

• Calcule la justesse

Fréquence d'étalonnage

• 10 à 20 questions Gold Standard couvrant des décomptes simples jusqu'à des KPI dignes de confiance complexes
• À exécuter pendant le développement – quotidiennement ou après chaque curation importante
• Après des changements de schéma exécuter toute la suite dès l'ajout de nouvelles tables ou colonnes
• En production – exécuter chaque semaine ou mois comme bilan de santé

Interpréter les résultats

• Le taux de réussite donne un score global
• La vraie valeur vient de l'analyse des échecs
• « Ventes totales par ville » réussit, mais « Revenu total par municipalité » échoue ?
• Cela indique que Genie a besoin de synonymes, pas d'un changement logique
• Comparer le SQL attendu au SQL généré pour trouver l'écart

Prioriser les correctifs

• Repérer les schémas d'échec dans vos résultats d'étalonnage
• Passer du résultat au menu Curation pour ajouter des synonymes et des exemples
• Prioriser par fréquence et impact d'affaires
• Corriger d'abord les échecs à forte fréquence et fort impact

Cycle d'amélioration continue

$$

Étape 1 : Construire votre suite de tests de questions Gold Standard.

Cycle d'amélioration continue

$$

Étape 2 : Exécuter et interpréter les résultats. Qu'est-ce qui a échoué et pourquoi ?

Cycle d'amélioration continue

$$

Étape 3 : Prioriser et peaufiner les correctifs à l'aide de synonymes, de relations ou d'exemples SQL.

Cycle d'amélioration continue

$$

Étape 4 : Vérifier l'amélioration en relançant l'étalonnage. Confirmer la hausse de justesse avant le déploiement.

Mise à l'échelle dans l'organisation

• Centraliser les données et les autorisations avec Unity Catalog
• Utiliser des actifs fiables pour les KPI à l'échelle de l'entreprise
• Réserver l'accès Éditeur aux Data Stewards formés
• Exiger la rétroaction pouce levé/pouce baissé
• Exécuter des étalonnages réguliers pour détecter la dérive de justesse

Passons à la pratique !

Introduction à Databricks Genie