Kiểm thử tự động trong MLOps

MLOps Tự động hoá Hoàn toàn

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Kiểm thử phần mềm là gì?

$$

Quá trình đánh giá và xác minh rằng phần mềm hoạt động như mong đợi

$$

Ba loại kiểm thử phần mềm phổ biến nhất:

  • Kiểm thử đơn vị
  • Kiểm thử tích hợp
  • Kiểm thử đầu-cuối

$$

$$

Một kim tự tháp với kiểm thử đơn vị ở đáy, tiếp theo là kiểm thử tích hợp, và trên cùng là kiểm thử đầu-cuối.

MLOps Tự động hoá Hoàn toàn

Phần mềm ML có bản chất khác

Ứng dụng ML không được lập trình tường minh

$$

Quy trình minh họa cách hệ thống ML học.

Chúng phụ thuộc vào:

  • Dữ liệu
  • Mô hình
MLOps Tự động hoá Hoàn toàn

Kiểm thử trong hệ thống MLOps khác biệt

Hình minh họa hệ thống phần mềm truyền thống được kiểm thử bằng kiểm thử đơn vị, kiểm thử tích hợp. Ở phía bên kia là hệ thống ML với kiểm thử dữ liệu, kiểm thử mô hình và kiểm thử pipeline.

1 https://research.google/pubs/pub46555/
MLOps Tự động hoá Hoàn toàn

Kiểm thử hệ thống ML

$$

Bên cạnh kiểm thử phần mềm truyền thống:

  • Kiểm thử dữ liệu
  • Kiểm thử mô hình
  • Kiểm thử pipeline
MLOps Tự động hoá Hoàn toàn

Kiểm thử dữ liệu

Kiểm thử cho đặc trưng và dữ liệu gồm:

  • Kỳ vọng về đặc trưng
  • Giá trị từ đặc trưng dữ liệu xứng đáng chi phí
  • Kiểm soát quyền riêng tư
  • Tránh dùng dữ liệu bất hợp pháp

$$

Một bộ nhiệt kế hiển thị các phép đo khác nhau.

MLOps Tự động hoá Hoàn toàn

Kiểm thử mô hình

Kiểm thử cho mô hình gồm:

  • Tương quan giữa chỉ số kinh doanh & ML

  • Đã tinh chỉnh toàn bộ siêu tham số

  • Quá khớp mô hình

  • Mô hình lỗi thời
  • So sánh với đường cơ sở
MLOps Tự động hoá Hoàn toàn

Kiểm thử pipeline ML

Kiểm thử cho pipeline ML gồm:

  • Huấn luyện có thể tái lập

  • Kiểm thử tích hợp pipeline ML

  • Khả năng gỡ lỗi mô hình

MLOps Tự động hoá Hoàn toàn

Ayo berlatih!

MLOps Tự động hoá Hoàn toàn

Preparing Video For Download...