Độ tin cậy của mô hình

Phát triển mô hình Machine Learning cho môi trường sản xuất

Sinan Ozdemir

Data Scientist, Entrepreneur, and Author

Căn chỉnh mô hình ML với chỉ số tác động kinh doanh

Chỉ số tác động kinh doanh đo lường tác động của ML lên doanh nghiệp
- ví dụ: doanh thu, tiết kiệm chi phí, điểm hài lòng khách hàng (CSAT)
Cần phù hợp với chỉ số mô hình
- ví dụ: mô hình dự đoán rời bỏ --> doanh thu
- ví dụ: dự đoán bảo trì sản xuất --> tiết kiệm chi phí
- ví dụ: độ chính xác nhận diện ý định chatbot --> CSAT

đồ thị đi lên

Thói quen kiểm thử trong pipeline ML

Unit test kiểm tra thành phần riêng lẻ
- ví dụ: kiểm tra một đối tượng PCA trả về đúng số đặc trưng
Integration test kiểm tra toàn bộ pipeline
- ví dụ: dữ liệu đầu vào được tiền xử lý đúng, mô hình dự đoán chính xác, đầu ra được hậu xử lý đúng
Smoke test là các kiểm thử nhanh để đảm bảo hệ thống hoạt động
- ví dụ: kiểm tra mô hình phân loại đúng một tập ảnh mẫu nhỏ
Kiểm thử sớm và thường xuyên
- ví dụ: kiểm thử mô hình trên dữ liệu mới ngay khi có

Ví dụ unit test

def test_pipeline():
    # Generate mock data for testing
    X_train = pd.DataFrame({'age': [25, 30, 35, 40], 'income': [50000, 60000, 70000, 80000])
    y_train = pd.Series([0, 0, 1, 1])

    pipeline = Pipeline([('preprocessing', DataPreprocessor()),  # Set up pipeline
                         ('model', LogisticRegression())])
    pipeline.fit(X_train, y_train)  # Fit pipeline on training data

    # Generate mock data for testing
    X_test = pd.DataFrame({'age': [30, 35, 40, 45], 'income': [55000, 65000, 75000, 85000])
    y_test = pd.Series([0, 0, 1, 1])
    y_pred = pipeline.predict(X_test)  
    accuracy = accuracy_score(y_test, y_pred)  # Evaluate pipeline on test data

    assert accuracy > 0.8, "Error: pipeline accuracy is too low."

Giám sát độ lỗi thời của mô hình

Mô hình bị lỗi thời - hiệu năng giảm dần theo thời gian
- do thay đổi dữ liệu hoặc môi trường
Giám sát liên tục!

robot bối rối

Nhận diện và khắc phục mô hình lỗi thời

Nhận diện

Giám sát hiệu năng mô hình
Theo dõi thay đổi dữ liệu + môi trường

Khắc phục

Huấn luyện lại trên dữ liệu mới
- ví dụ: cần thêm một đặc trưng mới vào mô hình
Cập nhật pipeline dữ liệu để thích ứng thay đổi môi trường
- ví dụ: thay đổi nền tảng phân tích làm pipeline bị lỗi

Ayo berlatih!

Phát triển mô hình Machine Learning cho môi trường sản xuất