बेंचमार्किंग और सतत सुधार

Databricks Genie परिचय

Gang Wang

Senior Data Scientist

बेंचमार्किंग क्या है

Gold Standard प्रश्न और उत्तर

• सटीकता निकालता है

बेंचमार्किंग की आवृत्ति

• 10-20 Gold Standard प्रश्न: साधारण काउंट से लेकर जटिल Trusted KPIs तक
• डेवलपमेंट के दौरान चलाएँ - रोज़ या हर बड़े क्यूरेशन बदलाव के बाद
• स्कीमा बदलने के बाद नए टेबल या कॉलम जोड़ते ही पूरा सूट चलाएँ
• प्रोडक्शन में - स्वास्थ्य जाँच के तौर पर साप्ताहिक या मासिक चलाएँ

परिणामों की व्याख्या

• पास रेट आपको समग्र स्कोर देता है
• असली मूल्य फेल्योर को समझने में है
• "Total sales by city" पास, पर "Total revenue by municipality" फेल?
• मतलब Genie को Synonyms चाहिए, लॉजिक बदलने की नहीं
• गैप ढूँढने को Expected SQL बनाम Generated SQL तुलना करें

फिक्स की प्राथमिकता

• अपने बेंचमार्क परिणामों में फेल्योर पैटर्न पहचानें
• परिणाम से Curation मेन्यू पर जाएँ और synonyms व उदाहरण जोड़ें
• फ्रीक्वेंसी और बिज़नेस इंपैक्ट से प्राथमिकता दें
• पहले उच्च-फ्रीक्वेंसी, उच्च-इंपैक्ट फेल्योर ठीक करें

सतत सुधार चक्र

$$

स्टेप 1: Build अपनी Gold Standard प्रश्नों की टेस्ट सूट बनाइए.

सतत सुधार चक्र

$$

स्टेप 2: Execute और परिणाम समझें. क्या फेल हुआ और क्यों?

सतत सुधार चक्र

$$

स्टेप 3: Prioritize और synonyms, relationships, या SQL उदाहरणों से फिक्स क्यूरेट करें.

सतत सुधार चक्र

$$

स्टेप 4: Verify सुधार: बेंचमार्क दोबारा चलाएँ. डिप्लॉय करने से पहले सटीकता बढ़ने की पुष्टि करें.

संगठन भर में स्केल करना

• Unity Catalog से डेटा और परमिशन केंद्रीकृत करें
• कंपनी-स्तरीय KPIs के लिए Trusted Assets इस्तेमाल करें
• प्रशिक्षित Data Stewards के लिए ही Editor ऐक्सेस रखें
• thumbs-up/thumbs-down फीडबैक अनिवार्य करें
• सटीकता ड्रिफ्ट पकड़ने को नियमित benchmarks चलाएँ

अभ्यास करते हैं!

Databricks Genie परिचय