Đối sánh chuẩn và cải tiến liên tục

Giới thiệu về Databricks Genie

Gang Wang

Senior Data Scientist

Benchmarking là gì

Câu hỏi Chuẩn Vàng và đáp án

• Tính độ chính xác

Tần suất benchmarking

• 10–20 câu Chuẩn Vàng bao phủ từ đếm đơn giản đến KPI Tin cậy phức tạp
• Chạy trong phát triển – hàng ngày hoặc sau mỗi thay đổi biên soạn lớn
• Sau khi đổi schema chạy toàn bộ bộ kiểm thử ngay khi thêm bảng/cột mới
• Trong sản xuất – chạy hàng tuần hoặc hàng tháng như kiểm tra sức khỏe

Diễn giải kết quả

• Tỷ lệ đậu cho bạn điểm tổng quan
• Giá trị thật nằm ở cách diễn giải lỗi
• "Tổng doanh số theo thành phố" đậu, nhưng "Tổng doanh thu theo đô thị" trượt?
• Nghĩa là Genie cần từ đồng nghĩa, không phải đổi logic
• So sánh Expected SQL với Generated SQL để tìm khoảng cách

Ưu tiên xử lý lỗi

• Xác định mẫu lỗi trong kết quả benchmark
• Chuyển từ kết quả sang menu Biên soạn để thêm từ đồng nghĩa và ví dụ
• Ưu tiên theo tần suất và tác động kinh doanh
• Sửa trước lỗi tần suất cao, tác động lớn

Chu trình cải tiến liên tục

$$

Bước 1: Xây dựng bộ kiểm thử từ các câu Chuẩn Vàng.

Chu trình cải tiến liên tục

$$

Bước 2: Thực thi và diễn giải kết quả. Lỗi ở đâu và vì sao?

Chu trình cải tiến liên tục

$$

Bước 3: Ưu tiên và biên soạn cách sửa bằng từ đồng nghĩa, quan hệ, hoặc ví dụ SQL.

Chu trình cải tiến liên tục

$$

Bước 4: Xác minh cải thiện bằng cách chạy lại benchmark. Xác nhận độ chính xác tăng trước khi triển khai.

Mở rộng trên toàn tổ chức

• Tập trung dữ liệu và quyền với Unity Catalog
• Dùng Trusted Assets cho KPI dùng chung toàn công ty
• Chỉ cấp quyền Editor cho Data Steward đã được đào tạo
• Bắt buộc phản hồi thích/không thích
• Chạy benchmarks định kỳ để phát hiện trôi độ chính xác

Cùng luyện tập nào!

Giới thiệu về Databricks Genie