Feature store ในสถาปัตยกรรม MLOps แบบอัตโนมัติ

MLOps แบบอัตโนมัติเต็มรูปแบบ

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Feature ใน machine learning

$$

Feature Engineering

เลือก ปรับแต่ง และแปลงข้อมูลดิบเพื่อสร้าง feature ที่ใช้เป็น input สำหรับอัลกอริทึม ML

ภาพพนักงานสวมชุดสูทยืนอยู่ข้างกระดาษและฟันเฟือง แทนกระบวนการประมวลผลข้อมูล

$$

ตัวอย่าง:

  • การแปลงค่าเชิงตัวเลข
  • การ encoding หมวดหมู่
  • การจัดกลุ่มค่า
  • การสร้าง feature ใหม่
MLOps แบบอัตโนมัติเต็มรูปแบบ

Feature engineering ในองค์กร

$$

แผนภาพสถาปัตยกรรมแสดงแหล่งข้อมูลทั้งแบบ batch และ streaming ที่ทีมนักวิทยาศาสตร์ข้อมูลนำมาแปลงในกระบวนการ feature engineering

MLOps แบบอัตโนมัติเต็มรูปแบบ

Feature engineering ในองค์กร

$$

แผนภาพสถาปัตยกรรมเดิม แต่มีทีมเพิ่มเติมที่ใช้แหล่งข้อมูลเดียวกันและทำ feature engineering ในไซโลของตนเอง

MLOps แบบอัตโนมัติเต็มรูปแบบ

Feature engineering ในองค์กร

$$

ต่อเนื่องจากภาพก่อนหน้า มีทีมที่สามใช้แหล่งข้อมูลเดียวกันและทำ feature engineering ในไซโลของตนเอง

MLOps แบบอัตโนมัติเต็มรูปแบบ

Feature store

$$

  • คลังเก็บ feature แบบรวมศูนย์

  • ลดงานซ้ำด้วยระบบอัตโนมัติ

  • มาตรฐานการแปลงข้อมูล

  • พื้นที่จัดเก็บแบบรวมศูนย์

  • ให้บริการ feature ทั้งแบบ batch และ real-time

$$

แผนภาพสถาปัตยกรรมที่แหล่งข้อมูลถูกนำเข้า feature store ซึ่งภายในมีการแปลงข้อมูล จัดเก็บ feature ที่สร้างขึ้น และให้บริการ feature เหล่านั้น

MLOps แบบอัตโนมัติเต็มรูปแบบ

Feature store - การทดลองที่รวดเร็วขึ้น

$$

  • การทดลองที่รวดเร็วขึ้น
    • ดึงข้อมูลสำหรับการทดลอง
    • ค้นหา feature
    • หลีกเลี่ยงนิยามซ้ำซ้อนสำหรับ feature เดียวกัน

$$

แผนภาพสถาปัตยกรรม feature store วางในแนวนอนและส่ง feature ไปยังการทดลองที่จัดการในสภาพแวดล้อม Experimentation and Development

MLOps แบบอัตโนมัติเต็มรูปแบบ

Feature store - Continuous training

$$

  • Continuous Training (CT)
    • ดึงข้อมูลสำหรับ pipeline อัตโนมัติใน production

$$

แผนภาพสถาปัตยกรรม feature store วางในแนวนอน ส่งข้อมูลไปยังส่วน continuous training ในสภาพแวดล้อม staging/production

MLOps แบบอัตโนมัติเต็มรูปแบบ

Feature store - การทำนายแบบ online

$$

  • การทำนายแบบ online
    • ใช้ feature ที่กำหนดไว้ล่วงหน้าสำหรับบริการทำนาย

$$

แผนภาพสถาปัตยกรรม feature store วางในแนวนอน ส่ง feature ไปยังบริการทำนายในระบบ

MLOps แบบอัตโนมัติเต็มรูปแบบ

Feature store - ความสมมาตรของสภาพแวดล้อม

$$

  • หลีกเลี่ยง training-serving skew

$$

แผนภาพสถาปัตยกรรม feature store วางในแนวนอน ส่ง feature ไปยัง pipeline ที่จัดการ, continuous training และบริการทำนายในทุกสภาพแวดล้อม

MLOps แบบอัตโนมัติเต็มรูปแบบ

มาฝึกกันเถอะ!

MLOps แบบอัตโนมัติเต็มรูปแบบ

Preparing Video For Download...