การติดตามการทดลองอัตโนมัติ

MLOps แบบอัตโนมัติเต็มรูปแบบ

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Machine learning มีลักษณะเชิงทดลอง

มี "ตัวแปร" ให้ทดลองมากมาย:

  • การแปลงข้อมูล
    • ฟีเจอร์ที่ใช้
  • อัลกอริทึมการฝึก
    • การปรับไฮเปอร์พารามิเตอร์
  • เมตริกการประเมิน
    • Precision, recall ฯลฯ
MLOps แบบอัตโนมัติเต็มรูปแบบ

พื้นที่ของความเป็นไปได้นั้นกว้างใหญ่มาก!

$$

ภาพถ่ายเสาอากาศหลายต้นชี้ไปยังท้องฟ้าเต็มไปด้วยดาว แสดงให้เห็นถึงพื้นที่กว้างใหญ่ที่ยากจะสำรวจได้ครบถ้วน

MLOps แบบอัตโนมัติเต็มรูปแบบ

ปัญหาของกระบวนการ Machine Learning แบบ Manual

ขาดระบบอัตโนมัติ = ปัญหาในกระบวนการ ML แบบ manual

  • ติดตามการทดลองและผลลัพธ์ได้ยาก
  • สิ้นเปลืองเวลาและทรัพยากร
  • ยากต่อการทำซ้ำหรือแบ่งปันผลลัพธ์

ภาพนักวิทยาศาสตร์ข้อมูลที่หงุดหงิดมากกำลังนั่งอยู่หน้าแล็ปท็อป

MLOps แบบอัตโนมัติเต็มรูปแบบ

การบันทึก log อัตโนมัติใน ML

สิ่งสำคัญที่ควรบันทึกได้แก่:

  • โค้ด
  • สภาพแวดล้อม
  • ข้อมูล
  • พารามิเตอร์
  • เมตริก
MLOps แบบอัตโนมัติเต็มรูปแบบ

ความสำคัญของการบันทึก log

การบันทึก log มีความสำคัญสำหรับ:

  • การทำซ้ำการทดลองในระบบ ML
  • การติดตามประสิทธิภาพของระบบและการตัดสินใจอย่างมีข้อมูล
  • การระบุปัญหาที่ต้องปรับปรุง

$$

การทำซ้ำได้สร้างความโปร่งใสและมีความสำคัญอย่างยิ่งต่อการสร้างระบบที่น่าเชื่อถือ

MLOps แบบอัตโนมัติเต็มรูปแบบ

ระบบติดตามการทดลองอัตโนมัติ

$$

จัดระเบียบ log ตาม run หรือการทดลอง เพื่อ:

  • ดูข้อมูล metadata ของการฝึกโมเดล
  • เปรียบเทียบ run การฝึกโมเดล
  • ทำซ้ำ run การฝึกโมเดล

$$

แผนภาพสถาปัตยกรรม IT ระบบติดตามการทดลองประกอบด้วยสองส่วน ได้แก่ dashboard UI และอินเทอร์เฟซสำหรับเข้าถึงแบบ programmatic ผู้ใช้งานเข้าถึงผ่าน dashboard UI ส่วนการเข้าถึงแบบ programmatic ใช้โดยส่วนประกอบอื่นของสถาปัตยกรรม ระบบติดตามการทดลองบันทึกและอ่านข้อมูลจากส่วนประกอบที่ทำหน้าที่จัดเก็บ log

MLOps แบบอัตโนมัติเต็มรูปแบบ

การติดตามการทดลองอัตโนมัติ - ตลาดปัจจุบัน

เครื่องมือที่ช่วยให้การติดตามการทดลองเป็นอัตโนมัติ:

  • TensorBoard

$$

  • MLFlow

$$

  • Weights & Biases

$$

  • Neptune

$$

โลโก้ TensorFlow

$$

โลโก้ MLflow

$$ โลโก้ Weights & Biases

โลโก้ Neptune.AI

MLOps แบบอัตโนมัติเต็มรูปแบบ

มาฝึกกันเถอะ!

MLOps แบบอัตโนมัติเต็มรูปแบบ

Preparing Video For Download...