การทำ Benchmarking และการปรับปรุงอย่างต่อเนื่อง

Databricks Genie เบื้องต้น

Gang Wang

Senior Data Scientist

Benchmarking คืออะไร

คำถามและคำตอบแบบ Gold Standard

• คำนวณความแม่นยำ

ความถี่ในการทำ Benchmarking

• คำถาม Gold Standard 10-20 ข้อ ครอบคลุมตั้งแต่การนับอย่างง่ายถึง KPI ที่ซับซ้อน
• รันระหว่างพัฒนา — ทุกวัน หรือหลังการเปลี่ยนแปลง curation ที่สำคัญ
• หลังการเปลี่ยน schema — รันชุดทดสอบทันทีที่เพิ่มตารางหรือคอลัมน์ใหม่
• ใน production — รันรายสัปดาห์หรือรายเดือนเพื่อตรวจสอบสุขภาพระบบ

การตีความผลลัพธ์

• อัตราผ่าน บอกคะแนนภาพรวม
• คุณค่าที่แท้จริง อยู่ที่การวิเคราะห์ความล้มเหลว
• "Total sales by city" ผ่าน แต่ "Total revenue by municipality" ไม่ผ่าน?
• แสดงว่า Genie ต้องการ คำพ้องความหมาย (Synonyms) ไม่ใช่การเปลี่ยนลอจิก
• เปรียบเทียบ Expected SQL กับ Generated SQL เพื่อหาช่องว่าง

การจัดลำดับความสำคัญในการแก้ไข

• ระบุ รูปแบบความล้มเหลว ในผลลัพธ์ benchmark
• ไปที่ เมนู Curation เพื่อเพิ่ม synonym และตัวอย่างได้โดยตรง
• จัดลำดับความสำคัญตาม ความถี่ และ ผลกระทบต่อธุรกิจ
• แก้ไขปัญหาที่มี ความถี่สูงและผลกระทบสูง ก่อน

วงจรการปรับปรุงอย่างต่อเนื่อง

$$

ขั้นตอนที่ 1: สร้าง ชุดทดสอบจากคำถาม Gold Standard

วงจรการปรับปรุงอย่างต่อเนื่อง

$$

ขั้นตอนที่ 2: รันและตีความผลลัพธ์ — อะไรล้มเหลวและเพราะเหตุใด?

วงจรการปรับปรุงอย่างต่อเนื่อง

$$

ขั้นตอนที่ 3: จัดลำดับความสำคัญและ curate การแก้ไข โดยใช้ synonym, relationship หรือตัวอย่าง SQL

วงจรการปรับปรุงอย่างต่อเนื่อง

$$

ขั้นตอนที่ 4: ยืนยัน การปรับปรุงด้วยการรัน benchmark ซ้ำ ตรวจสอบว่าความแม่นยำเพิ่มขึ้นก่อน deploy

การขยายการใช้งานทั่วองค์กร

• รวมศูนย์ข้อมูลและสิทธิ์การเข้าถึงด้วย Unity Catalog
• ใช้ Trusted Assets สำหรับ KPI ระดับองค์กร
• สงวนสิทธิ์ Editor ไว้สำหรับ Data Steward ที่ผ่านการอบรมแล้ว
• กำหนดให้มีการให้ feedback แบบกดถูก/กดไม่ถูก
• รัน benchmark อย่างสม่ำเสมอเพื่อตรวจจับความแม่นยำที่ลดลง

มาฝึกกันเถอะ!

Databricks Genie เบื้องต้น