รูปแบบการให้บริการ

MLOps Deployment and Life Cycling

Nemanja Radojkovic

Senior Machine Learning Engineer

Serving และ serving mode

• การให้บริการการพยากรณ์ == Model serving
• การนำ serving ประเภทหนึ่งไปใช้งาน == Serving mode

 

เลือกให้รอบคอบ!

การพยากรณ์แบบ batch: เรียบง่ายไว้ก่อน

• การพยากรณ์แบบ batch เป็นวิธีที่เรียบง่ายที่สุด
• หากกรณีการใช้งานรองรับได้ ให้เลือกวิธีนี้
• เหมาะสำหรับ: การสร้างการพยากรณ์ยอดขายรายเดือน

Latency ที่ยอมรับได้

ระดับที่ยอมรับได้คือเท่าใด?

• < 1 ชั่วโมง?
• < 1 นาที?
• < 1 วินาที?
• < 1 มิลลิวินาที?

การพยากรณ์แบบใกล้เรียลไทม์ หรือ Stream processing

Acceptable latency ~= X นาที

หรือที่รู้จักในชื่อ stream processing (คำขอและการตอบกลับก่อตัวเป็น "data streams")

การพยากรณ์แบบเรียลไทม์

Acceptable latency < 1 วินาที

ตัวอย่าง:

• การตรวจจับการฉ้อโกงบัตรเครดิต
• การพยากรณ์ที่ช้าเกินไปถือว่าไม่มีประโยชน์

เมื่อ latency เป็นสิ่งสำคัญ

• โมเดลที่เบากว่าแต่เร็วกว่ามีคุณค่ามากกว่าโมเดลที่แม่นยำกว่าแต่ช้ากว่า
• นำโมเดลไปใช้บนอุปกรณ์ของผู้ใช้เพื่อลด latency => "edge deployment"
  • แอปสมาร์ตโฟนที่ใช้ ML:
    • แอปนำทาง
    • ปลดล็อกด้วยการจดจำใบหน้า
    • ฟิลเตอร์รูปภาพ

มาฝึกกันเถอะ!

MLOps Deployment and Life Cycling