ภาพรวมของ Lakehouse AI

แนวคิด Databricks

Kevin Barlow

Data Practitioner

Lakehouse AI

แผนภาพสถาปัตยกรรมระดับสูงของ Lakehouse

ทำไมต้องใช้ Lakehouse สำหรับ AI / ML?

  1. ข้อมูลและไฟล์ที่เชื่อถือได้ใน Delta lake
  2. คอมพิวต์ที่ปรับขนาดได้สูง
  3. มาตรฐานเปิด ไลบรารี และเฟรมเวิร์ก
  4. ทำงานร่วมกับทีมข้อมูลอื่นได้
1 https://www.databricks.com/blog/2020/01/30/what-is-a-data-lakehouse.html
แนวคิด Databricks

วงจรชีวิต MLOps

แผนภาพวงจรชีวิต Machine Learning

แนวคิด Databricks

MLOps ใน Lakehouse

DataOps

DataOps

  • รวมข้อมูลจากแหล่งต่าง ๆ (AutoLoader)
  • แปลงข้อมูลให้สะอาดและพร้อมใช้งาน (Delta Live Tables)
  • สร้าง feature ที่มีประโยชน์สำหรับโมเดล (Feature Store)
แนวคิด Databricks

MLOps ใน Lakehouse

ModelOps

ModelOps

  • พัฒนาและฝึกโมเดลต่าง ๆ (Notebooks)
  • เทมเพลต machine learning และระบบอัตโนมัติ (AutoML)
  • ติดตามพารามิเตอร์ เมตริก และการทดลอง (MLFlow)
  • รวมศูนย์และนำโมเดลไปใช้งาน (Model Registry)
แนวคิด Databricks

MLOps ใน Lakehouse

DevOps

DevOps

  • ควบคุมการเข้าถึงโมเดลต่าง ๆ (Unity Catalog)
  • CI/CD สำหรับเวอร์ชันโมเดล (Model Registry)
  • นำโมเดลไปให้บริการ (Serving Endpoints)
แนวคิด Databricks

มาทบทวนกัน!

แนวคิด Databricks

Preparing Video For Download...