การปรับ Hyperparameter แบบอัตโนมัติ

MLOps แบบอัตโนมัติเต็มรูปแบบ

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Hyperparameter คืออะไร?

Hyperparameter คือค่าที่ปรับได้เพื่อควบคุมกระบวนการเรียนรู้

  • ไม่ได้เรียนรู้ระหว่างการฝึกโมเดล
  • กำหนดก่อนเริ่มฝึก ML โมเดล

$$

ตัวอย่าง:

  • สถาปัตยกรรมโมเดลใน Neural Network
  • จำนวนกิ่งใน Decision Tree
  • Learning rate
MLOps แบบอัตโนมัติเต็มรูปแบบ

การปรับ Hyperparameter คืออะไร?

ภาพนักวิทยาศาสตร์ข้อมูลกำลังปรับ Hyperparameter ใน Neural Network กระบวนการฝึกโมเดลจะปรับค่า Parameter ที่เรียนรู้ได้ ซึ่งส่งผลให้ได้คะแนนที่แตกต่างกัน

MLOps แบบอัตโนมัติเต็มรูปแบบ

วิธีการปรับ Hyperparameter

  • Grid Search

$$

$$

  • Random Search

$$

$$

  • Bayesian Optimization

แอนิเมชัน Grid Search แสดงการค้นหาอย่างเป็นระบบ

แอนิเมชัน Random Search แสดงการค้นหาแบบสุ่ม

แอนิเมชัน Bayesian Search แสดงการค้นหาแบบอัจฉริยะ

MLOps แบบอัตโนมัติเต็มรูปแบบ

ปรับ Hyperparameter แบบอัตโนมัติ

ภาพแสดงการสำรวจชุดค่า Hyperparameter แบบอัตโนมัติ

MLOps แบบอัตโนมัติเต็มรูปแบบ

ขั้นตอนการปรับ Hyperparameter แบบอัตโนมัติ

  • สิ่งที่ต้องกำหนด:
    • ชุด Hyperparameter ที่ต้องการปรับ
    • ช่วงการค้นหาสำหรับแต่ละ Parameter
    • เมตริกประสิทธิภาพที่ต้องการปรับให้เหมาะสม
    • เกณฑ์การหยุด

ภาพแสดงกระบวนการ: กำหนด Hyperparameter ที่ต้องการปรับ กำหนดช่วงการค้นหาสำหรับแต่ละ Hyperparameter ระบุเป้าหมายที่ต้องการปรับ และระบุเกณฑ์การหยุด โดยกระบวนการทั้งหมดขับเคลื่อนด้วยวิธีการปรับ Hyperparameter

MLOps แบบอัตโนมัติเต็มรูปแบบ

ค้นหาชุด Hyperparameter ที่ดีที่สุดโดยอัตโนมัติ

$$

ภาพกระบวนการเดิมที่ขยายเพิ่มเติม แสดงผลลัพธ์ที่ได้ชุด Hyperparameter ที่ดีที่สุด

MLOps แบบอัตโนมัติเต็มรูปแบบ

Hyperparameter และความสมมาตรของสภาพแวดล้อม

$$

ภาพแสดงความสมมาตรของสภาพแวดล้อม โดยชุด Hyperparameter ที่ปรับแล้วถูกใช้ทั้งในขั้นพัฒนา/ทดลอง และในขั้น Production

MLOps แบบอัตโนมัติเต็มรูปแบบ

การปรับ Hyperparameter — การติดตามการทดลอง

ภาพแสดงกระบวนการปรับ Hyperparameter แบบอัตโนมัติ ระบบติดตามการทดลองอัตโนมัติจะรวบรวม Metadata เช่น Hyperparameter ที่ใช้ระหว่างการปรับ และบันทึกลงใน Metadata Store

MLOps แบบอัตโนมัติเต็มรูปแบบ

ตัวอย่าง — การแสดงภาพ Hyperparameter

ตัวอย่างเครื่องมือสร้างภาพสำหรับการปรับ Hyperparameter

MLOps แบบอัตโนมัติเต็มรูปแบบ

มาฝึกกันเถอะ!

MLOps แบบอัตโนมัติเต็มรูปแบบ

Preparing Video For Download...