Tổng kết
Tinh chỉnh siêu tham số trong Python
Alex Scriven
Data Scientist
Siêu tham số và Tham số
Siêu tham số vs Tham số:
Siêu tham số là thành phần của mô hình do bạn đặt. Chúng không được học trong quá trình huấn luyện
Tham số không do bạn đặt. Thuật toán sẽ tự suy ra
Chọn siêu tham số & giá trị nào?
Bạn đã học:
- Một số siêu tham số nên dùng trước hơn số khác
- Có những giá trị siêu tham số vô lý
- Cần tránh siêu tham số xung đột
- Thực hành tốt phụ thuộc vào thuật toán và siêu tham số của nó
Nhớ về Grid Search
Chúng ta đã giới thiệu grid search:
- Tạo ma trận (hoặc “lưới”) các kết hợp siêu tham số và giá trị
- Huấn luyện mô hình cho TẤT CẢ các kết hợp siêu tham số
- Rồi chọn mô hình tốt nhất
Tốn tài nguyên tính toán nhưng đảm bảo tìm được mô hình tốt nhất trong lưới. (Hãy nhớ đặt lưới hợp lý!)
Nhớ về Random Search
Random Search:
- Rất giống grid search
- Khác biệt chính: chọn (n) kết hợp ngẫu nhiên
Cách này nhanh để có mô hình “tạm ổn” nhưng không đạt mô hình tốt nhất trong lưới.
Từ tìm kiếm mù sang có định hướng
Xem xét tìm kiếm có định hướng:
Ở tìm kiếm có định hướng, mỗi vòng lặp học từ vòng trước; còn Grid và Random huấn luyện một lượt rồi mới chọn mô hình tốt nhất.
Các phương pháp đã nêu:
- “Tổng quát đến chi tiết” (ngẫu nhiên lặp rồi grid search)
- Tối ưu siêu tham số Bayes, cập nhật niềm tin dựa trên hiệu năng mô hình
- Thuật toán di truyền, tiến hoá mô hình qua các thế hệ
Xin cảm ơn!
Tinh chỉnh siêu tham số trong Python
