Benchmarking y mejora continua

Introducción a Databricks Genie

Gang Wang

Senior Data Scientist

¿Qué es el benchmarking?

Preguntas y respuestas de Gold Standard

• Calcula la exactitud

Frecuencia del benchmarking

• 10-20 preguntas Gold Standard desde recuentos simples hasta KPIs de confianza complejos
• Ejecuta durante el desarrollo: a diario o tras cada cambio de curación importante
• Tras cambios de esquema ejecuta la batería completa al añadir tablas o columnas
• En producción: semanal o mensual como control de salud

Interpretar los resultados

• La tasa de aciertos te da un indicador general
• El valor real está en interpretar los fallos
• «Ventas totales por ciudad» pasa, pero «Ingresos totales por municipio» falla{{3}}?
• Significa que Genie necesita sinónimos, no cambiar la lógica
• Compara SQL esperado vs SQL generado para hallar la brecha

Priorizar correcciones

• Identifica patrones de fallo en tus resultados
• Salta del resultado al menú de Curación para añadir sinónimos y ejemplos
• Prioriza por frecuencia e impacto en el negocio
• Arregla primero los fallos de alta frecuencia y alto impacto

Ciclo de mejora continua

$$

Paso 1: Crea tu batería de pruebas con preguntas Gold Standard.

Ciclo de mejora continua

$$

Paso 2: Ejecuta e interpreta resultados. ¿Qué falló y por qué?

Ciclo de mejora continua

$$

Paso 3: Prioriza y cura correcciones con sinónimos, relaciones o ejemplos SQL.

Ciclo de mejora continua

$$

Paso 4: Verifica la mejora reejecutando el benchmark. Confirma que sube la exactitud antes de desplegar.

Escalar en toda la organización

• Centraliza datos y permisos con Unity Catalog
• Usa Trusted Assets para KPIs de toda la empresa
• Reserva el acceso de Editor para Data Stewards formados
• Obliga a dar feedback de pulgar arriba/abajo
• Ejecuta benchmarks periódicos para detectar deriva de exactitud

¡Vamos a practicar!

Introducción a Databricks Genie