Tự động tinh chỉnh siêu tham số

MLOps Tự động hoá Hoàn toàn

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Siêu tham số là gì?

Siêu tham số là các giá trị có thể tinh chỉnh, điều khiển quá trình học

  • Không được học trong khi huấn luyện
  • Thiết lập trước khi huấn luyện mô hình ML

$$

Ví dụ:

  • Kiến trúc mô hình trong Mạng Nơ-ron
  • Số nhánh của cây quyết định
  • Tốc độ học
MLOps Tự động hoá Hoàn toàn

Tinh chỉnh siêu tham số là gì?

Hình cho thấy nhà khoa học dữ liệu điều chỉnh siêu tham số trong một mạng nơ-ron. Quy trình huấn luyện mạng tinh chỉnh các tham số được học trong lúc huấn luyện. Những tổ hợp này tạo ra các điểm số khác nhau.

MLOps Tự động hoá Hoàn toàn

Các phương pháp tinh chỉnh siêu tham số

  • Tìm kiếm lưới (Grid Search)

$$

$$

  • Tìm kiếm ngẫu nhiên (Random Search)

$$

$$

  • Tối ưu Bayes (Bayesian Optimization)

Hoạt ảnh tìm kiếm lưới cho thấy tìm kiếm có trật tự.

Hoạt ảnh tìm kiếm ngẫu nhiên cho thấy tìm kiếm ngẫu nhiên.

Hoạt ảnh tối ưu Bayes cho thấy tìm kiếm thông minh.

MLOps Tự động hoá Hoàn toàn

Tự động hóa tinh chỉnh siêu tham số

Hình cho thấy một động cơ khám phá các tổ hợp siêu tham số.

MLOps Tự động hoá Hoàn toàn

Các bước tự động tinh chỉnh siêu tham số

  • Cần xác định:
    • Tập siêu tham số cần tối ưu
    • Không gian tìm kiếm cho từng tham số
    • Chỉ số hiệu suất để tối ưu
    • Tiêu chí dừng

Hình minh họa quy trình: xác định siêu tham số cần tối ưu, xác định không gian tìm kiếm cho từng siêu tham số, đặt mục tiêu tối ưu, đặt tiêu chí dừng. Bên dưới, toàn bộ quy trình được vận hành bởi một phương pháp tinh chỉnh siêu tham số.

MLOps Tự động hoá Hoàn toàn

Tự động tìm bộ siêu tham số tốt nhất

$$

Ảnh trước được mở rộng. Bên dưới tìm được bộ siêu tham số tốt nhất.

MLOps Tự động hoá Hoàn toàn

Siêu tham số và đối xứng môi trường

$$

Hình minh họa tính đối xứng môi trường. Cùng một bộ siêu tham số đã tinh chỉnh được dùng trong phát triển/thử nghiệm và trong sản xuất.

MLOps Tự động hoá Hoàn toàn

Tinh chỉnh siêu tham số - Theo dõi thí nghiệm

Hình minh họa quy trình tự động tinh chỉnh siêu tham số. Ở đầu quy trình, hệ thống theo dõi thí nghiệm tự động thu thập siêu dữ liệu như các siêu tham số dùng trong quá trình tinh chỉnh. Siêu dữ liệu này được lưu vào kho siêu dữ liệu.

MLOps Tự động hoá Hoàn toàn

Ví dụ - Trực quan hóa siêu tham số

Ví dụ công cụ trực quan hóa tinh chỉnh siêu tham số.

MLOps Tự động hoá Hoàn toàn

Ayo berlatih!

MLOps Tự động hoá Hoàn toàn

Preparing Video For Download...