Khả năng mở rộng

Phát triển mô hình Machine Learning cho môi trường sản xuất

Sinan Ozdemir

Data Scientist, Entrepreneur, and Author

Ràng buộc tính toán trong khả năng mở rộng

  • Yêu cầu CPU, bộ nhớ, đĩa ảnh hưởng khả năng mở rộng của mô hình ML
  • Đo CPU, bộ nhớ, đĩa trong huấn luyện và suy luận
  • Phát hiện sớm giúp mô hình mở rộng tốt hơn

phòng máy chủ

Phát triển mô hình Machine Learning cho môi trường sản xuất

Độ phức tạp mô hình và khả năng mở rộng

  • Độ phức tạp mô hình ảnh hưởng khả năng mở rộng
  • Cân bằng giữa phức tạp và khả năng mở rộng là thách thức
  • Chiến lược cân bằng:
    • Chọn lọc đặc trưng (vd: Chi-squared, PCA)
    • Nén mô hình (vd: pruning)

PCA

Phân tích Thành phần Chính (PCA)

Phát triển mô hình Machine Learning cho môi trường sản xuất

Tốc độ triển khai và khả năng mở rộng

  • Triển khai và lặp nhanh là then chốt cho tính phù hợp và độ chính xác
  • Chiến lược
    • tích hợp/triển khai liên tục - sẽ trình bày ở bài sau
    • học trực tuyến - học từ dữ liệu mới theo thời gian thực

vận động viên chạy

Phát triển mô hình Machine Learning cho môi trường sản xuất

Chiến lược mở rộng tối ưu

  • Đánh đổi gồm chi phí phục vụ, tái huấn luyện, và tốc độ triển khai
  • Chiến lược mở rộng: ngang, dọc, tự động
    • Mở rộng ngang: thêm nhiều máy
    • Mở rộng dọc: tăng cấu hình máy
    • Tự động mở rộng: điều chỉnh số máy theo tải

mở rộng

1 https://www.spiceworks.com/tech/cloud/articles/horizontal-vs-vertical-cloud-scaling
Phát triển mô hình Machine Learning cho môi trường sản xuất

Xác định chiến lược mở rộng tối ưu

  • Mở rộng ngang dùng cân bằng tải, phân vùng

  • Đánh đổi mở rộng ngang: phức tạp, chi phí ($)

  • Mở rộng dọc là tăng cấu hình máy

  • Đánh đổi mở rộng dọc: chi phí ($)

Lý tưởng: tự động mở rộng ngang và dọc.

mở rộng

1 https://www.spiceworks.com/tech/cloud/articles/horizontal-vs-vertical-cloud-scaling
Phát triển mô hình Machine Learning cho môi trường sản xuất

Hãy luyện tập!

Phát triển mô hình Machine Learning cho môi trường sản xuất

Preparing Video For Download...