Benchmarking dan perbaikan berkelanjutan

Pengantar Databricks Genie

Gang Wang

Senior Data Scientist

Apa itu benchmarking

Gold Standard pertanyaan dan jawaban

• Menghitung akurasi

Frekuensi benchmarking

• 10–20 pertanyaan Gold Standard mencakup dari hitungan sederhana hingga KPI Tepercaya yang kompleks
• Jalankan saat pengembangan - harian atau setelah setiap perubahan kurasi besar
• Setelah perubahan skema jalankan seluruh suite segera saat menambah tabel atau kolom baru
• Di produksi - jalankan mingguan atau bulanan sebagai pemeriksaan kesehatan

Menafsirkan hasil

• Tingkat kelulusan memberi skor ringkas
• Nilai sesungguhnya ada pada menafsirkan kegagalan
• "Total sales by city" lulus, tapi "Total revenue by municipality" gagal?
• Itu berarti Genie butuh Sinonim, bukan perubahan logika
• Bandingkan Expected SQL vs Generated SQL untuk menemukan celah

Memprioritaskan perbaikan

• Identifikasi pola kegagalan pada hasil benchmark Anda
• Loncat dari hasil ke menu Curation untuk menambah sinonim dan contoh
• Prioritaskan berdasarkan frekuensi dan dampak bisnis
• Perbaiki kegagalan berfrekuensi tinggi, berdampak tinggi lebih dulu

Siklus perbaikan berkelanjutan

$$

Langkah 1: Bangun test suite Anda berisi pertanyaan Gold Standard.

Siklus perbaikan berkelanjutan

$$

Langkah 2: Eksekusi dan tafsirkan hasil. Apa yang gagal dan mengapa?

Siklus perbaikan berkelanjutan

$$

Langkah 3: Prioritaskan dan kurasi perbaikan dengan sinonim, relasi, atau contoh SQL.

Siklus perbaikan berkelanjutan

$$

Langkah 4: Verifikasi perbaikan dengan menjalankan ulang benchmark. Pastikan akurasi naik sebelum penerapan.

Skalakan di seluruh organisasi

• Pusatkan data dan izin dengan Unity Catalog
• Gunakan Trusted Assets untuk KPI seluruh perusahaan
• Batasi akses Editor untuk Data Steward terlatih
• Wajibkan umpan balik thumbs-up/thumbs-down
• Jalankan benchmark rutin untuk mendeteksi penurunan akurasi

Ayo berlatih!

Pengantar Databricks Genie