metadata store

MLOps แบบอัตโนมัติเต็มรูปแบบ

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Metadata ใน MLOps คืออะไร?

  • Metadata คือข้อมูลเกี่ยวกับ artifact
    • ที่สร้างขึ้นระหว่างการทำงานของส่วนประกอบต่าง ๆ ใน ML pipeline

นำเสนอ machine learning pipeline ซึ่งประกอบด้วยขั้นตอนต่อไปนี้: การดึงข้อมูล การตรวจสอบข้อมูล การฝึกโมเดล การประเมินโมเดล และการตรวจสอบโมเดล

ตัวอย่าง metadata:

  • การกำหนดเวอร์ชันข้อมูล: เก็บข้อมูลเดียวกันหลายเวอร์ชัน
  • Metadata เกี่ยวกับ training artifact เช่น hyperparameter
  • บันทึกการทำงานของ pipeline
1 https://datacentricai.org/
MLOps แบบอัตโนมัติเต็มรูปแบบ

ด้านสำคัญของ metadata ใน ML

$$

  • Data lineage

  • การ reproduce ผลลัพธ์

  • การติดตาม (Monitoring)

  • ด้านกฎระเบียบ (Regulatory)

MLOps แบบอัตโนมัติเต็มรูปแบบ

ความสำคัญของ metadata - Data lineage

  • Metadata ของ data lineage ติดตามข้อมูลตั้งแต่:

    • จุดที่สร้างข้อมูล
    • ไปจนถึงจุดที่นำข้อมูลไปใช้

ภาพประกอบแนวคิด data lineage แสดงให้เห็นว่าข้อมูลสามารถถูกแปลงผ่านกระบวนการต่าง ๆ ระหว่างต้นทางและปลายทางการใช้งาน

MLOps แบบอัตโนมัติเต็มรูปแบบ

ความสำคัญของ metadata - การ reproduce ผลลัพธ์

  • Metadata เกี่ยวกับการทดลอง machine learning:
    • ช่วยให้ผู้อื่น reproduce ผลลัพธ์ได้
    • เพิ่มความน่าเชื่อถือให้กับระบบ ML
    • นำความเป็นระบบเชิงวิทยาศาสตร์มาสู่กระบวนการ ML

ภาพประกอบแนวคิด reproducibility แสดงนักวิทยาศาสตร์หลายคนมองผ่านกล้องโทรทรรศน์เพื่อตรวจสอบงานของกันและกัน

MLOps แบบอัตโนมัติเต็มรูปแบบ

ความสำคัญของ metadata - การติดตาม (Monitoring)

  • ช่วยให้วิศวกร machine learning:
    • ติดตามการทำงานของส่วนต่าง ๆ ใน MLOps pipeline
    • ตรวจสอบสถานะของระบบ ML ได้ตลอดเวลา
MLOps แบบอัตโนมัติเต็มรูปแบบ

ตัวอย่างเครื่องมือ monitoring

ตัวอย่าง monitoring dashboard ที่แสดง metric ต่าง ๆ ของระบบ MLOps ที่กำลังทำงานอยู่

1 https://cloud.google.com/stackdriver/docs/solutions/gke/observing
MLOps แบบอัตโนมัติเต็มรูปแบบ

metadata store

  • ศูนย์กลางสำหรับจัดการ MLOps metadata ทั้งหมด ได้แก่:

    • การทดลอง (logs)
    • artifact
    • โมเดล
    • pipeline

  • มี user interface สำหรับ:

    • อ่านและเขียน metadata ที่เกี่ยวกับโมเดลทั้งหมด

ภาพประกอบ metadata store แสดงที่เก็บแบบรวมศูนย์ที่ผู้ใช้และกระบวนการต่าง ๆ เข้าถึง metadata

1 https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning
MLOps แบบอัตโนมัติเต็มรูปแบบ

metadata store ในสถาปัตยกรรม MLOps

ภาพสถาปัตยกรรม MLOps แบบอัตโนมัติเต็มรูปแบบ แสดงบทบาทสำคัญของ metadata store ในกระบวนการ MLOps

MLOps แบบอัตโนมัติเต็มรูปแบบ

metadata store ใน MLOps แบบอัตโนมัติเต็มรูปแบบ

ช่วยให้สามารถติดตามการทำงานอัตโนมัติของ MLOps pipeline แบบเต็มรูปแบบ

  • อำนวยความสะดวกในการตอบสนองต่อเหตุการณ์อัตโนมัติ เช่น

    • การฝึกโมเดลใหม่อัตโนมัติ
    • การ rollback อัตโนมัติ

กราฟแสดงการฝึกโมเดลใหม่ที่ถูกกระตุ้นจาก drift ในระบบ ML แกน x คือเวลา แกน y คือประสิทธิภาพ มีเส้นโค้ง 3 เส้น แต่ละเส้นมีการลดลงแสดง drift จุด drift ถูกวงกลมและระบุว่า "drift detected" ซึ่งเป็นจุดเริ่มต้นของเส้นโค้งประสิทธิภาพใหม่

MLOps แบบอัตโนมัติเต็มรูปแบบ

มาฝึกกันเถอะ!

MLOps แบบอัตโนมัติเต็มรูปแบบ

Preparing Video For Download...