Giám sát và cảnh báo

Triển khai và Vòng đời MLOps

Nemanja Radojkovic

Senior Machine Learning Engineer

Xác thực thống kê

Có thể:

• quá nhạy
• thiếu thông tin

 

Rủi ro

• Quá nhiều cảnh báo
• "Mệt mỏi cảnh báo"
• Bỏ lỡ cảnh báo quan trọng

Học từ lịch sử của bạn

Sau khi xử lý sự cố => Ghi lại nguyên nhân gốc và các bước khắc phục

Ví dụ từ Google[1]:

• 10 năm sự cố được ghi lại và phân tích
• > 2/3 không liên quan đến ML!

¹ How ML Breaks: A Decade of Outages for One Large ML Pipeline, https://www.usenix.org/conference/opml20/presentation/papasian

Ayo berlatih!

Triển khai và Vòng đời MLOps